Wenn man auf einer Website nach einer bestimmten Information sucht, ohne deren Struktur zu kennen, verliert man Zeit mit dem Navigieren von Menü zu Menü. Die Sitemap löst dieses Problem, indem sie alle URLs einer Website in einem strukturierten Format auflistet. Auf PEPSeo gibt es diese Seite, die Zugang zu allen veröffentlichten Inhalten bietet, sowohl für menschliche Besucher als auch für Indexierungsroboter.
Zugriff auf die PEPSeo-Sitemap über einen Browser
Die Handhabung ist einfach: Man fügt /sitemap/ am Ende des Domainnamens in die Adresszeile des Browsers hinzu. Die angezeigte Seite präsentiert eine Liste von URLs, die manchmal nach Kategorien oder Veröffentlichungsdaten gruppiert sind.
Dieser Reflex funktioniert auf den meisten von einem CMS wie WordPress betriebenen Websites, die automatisch eine XML-Sitemap generieren. Auf PEPSeo ist die Struktur ohne Drittanbieter-Tools lesbar: Man kann die Seiten der PEPSeo-Website mit einem einzigen Klick durchblättern, die neuesten Rubriken erkennen und schnell einen bestimmten Artikel oder Dienst identifizieren.
Für diejenigen, die lieber von einem Terminal aus arbeiten, ermöglicht ein einfacher curl oder wget auf die URL der Sitemap, die rohe XML-Datei abzurufen und sie mit grep oder einem XML-Parser zu filtern. So erhält man die vollständige Liste der URLs, ohne die grafische Benutzeroberfläche zu verwenden.
XML-Sitemap und HTML-Sitemap: zwei unterschiedliche Verwendungszwecke zur Erkundung einer Website
Die beiden Formate werden oft verwechselt, weil sie denselben Namen tragen. Ihre Funktion unterscheidet sich jedoch in einem grundlegenden Punkt.
Die XML-Datei, bestimmt für Roboter
Die XML-Sitemap ist eine technische Datei, die die URLs mit Metadaten wie dem Datum der letzten Änderung (lastmod) oder der Aktualisierungsfrequenz auflistet. Suchmaschinen verwenden sie, um Seiten zu entdecken und ihre Crawling-Prioritäten festzulegen.
Ein oft übersehener Punkt: Der Wert lastmod muss eine tatsächliche Änderung des Inhalts widerspiegeln. Diese Datumsangabe nach einer einfachen kosmetischen Änderung (ein Leerzeichen, ein Komma) zu aktualisieren, verringert das Vertrauen, das Suchmaschinen dieser Information entgegenbringen. Bing erwähnt dies ausdrücklich in seinen Empfehlungen an Webmaster.
Die HTML-Version, gedacht für Besucher
Eine HTML-Sitemap ist eine klassische Webseite mit klickbaren Links, die nach Themen organisiert sind. Man verwendet sie, wenn man die Architektur einer Website auf einen Blick verstehen möchte, ohne rohes XML lesen zu müssen.
Auf einer kleinen Website wie PEPSeo bleibt die HTML-Sitemap das schnellste Mittel für einen Besucher, um eine bestimmte Seite zu finden. Es ist nicht nötig, die genaue Anfrage zu kennen oder eine interne Suchmaschine zu verwenden.
Was die Sitemap nicht tut: konkrete Grenzen, die man kennen sollte
Manchmal glaubt man, dass, wenn eine URL in der Sitemap aufgeführt ist, sie automatisch bei Google erscheint. Das ist falsch. Die Sitemap erleichtert die Entdeckung, nicht die Indizierung.
Jede aufgelistete Seite muss noch von dem Roboter erkundet, als zugänglich beurteilt (kein Block durch robots.txt oder noindex-Tag), als kanonisch betrachtet und als ausreichend nützlich eingeschätzt werden, um einen Platz im Index zu verdienen. Eine vollständige Sitemap mit Seiten, die einen Fehler 404 aufweisen oder defekte Weiterleitungen haben, verbessert nichts.
Hier sind die häufigsten Fehler, die die Nützlichkeit einer Sitemap neutralisieren:
- Gelöschte oder umgeleitete URLs im Datei zu belassen, was die Roboter zu toten Seiten führt und das Crawl-Budget verschwendet
- Seiten einzuschließen, die durch ein Passwort geschützt oder durch eine noindex-Direktive blockiert sind, was einen Widerspruch zwischen dem, was die Sitemap ankündigt, und dem, was der Server erlaubt, schafft
- Die Datei nach einem Redesign oder einer Änderung der Struktur niemals zu aktualisieren, was eine veraltete Karte der Website festschreibt
Die beste Praxis besteht darin, jede URL, die keinen 200-Code mehr zurückgibt, aus der Sitemap zu entfernen. Auf WordPress erledigen die meisten SEO-Plugins dies automatisch, aber eine manuelle Überprüfung bleibt nach einer Inhaltsbereinigung nützlich.
Sitemap und IndexNow: zwei komplementäre Mechanismen zur Meldung von Seiten
Die Sitemap beschreibt das vollständige Inventar einer Website zu einem bestimmten Zeitpunkt. IndexNow beantwortet ein anderes Bedürfnis: in Echtzeit eine hinzugefügte, geänderte oder gelöschte URL an die Suchmaschinen zu melden, die das Protokoll unterstützen (Bing, Yandex und einige andere).
Konkret, wenn man einen neuen Artikel auf PEPSeo veröffentlicht oder eine bestehende Seite korrigiert, überträgt IndexNow die Information an die Suchmaschinen, ohne auf deren nächsten Crawl-Besuch zu warten. Die Sitemap bleibt hingegen das permanente Referenzdokument, das die Roboter in ihrem eigenen Tempo konsultieren.
Die Kombination beider bietet das beste Ergebnis:
- Die Sitemap sorgt für die umfassende Abdeckung: Alle Seiten der Website sind aufgeführt, selbst die, die vor langer Zeit veröffentlicht wurden
- IndexNow beschleunigt die Berücksichtigung der aktuellen Änderungen, was besonders für Inhalte mit kurzer Lebensdauer oder dringende Korrekturen wichtig ist
- Die aus der Sitemap entfernten URLs können ebenfalls über IndexNow gemeldet werden, damit die kompatiblen Suchmaschinen ihr Index schneller aktualisieren
Die Rückmeldungen über die tatsächliche Auswirkung von IndexNow variieren je nach Suchmaschine, aber das Protokoll verursacht keine Kosten bei der Implementierung und schafft keine Konflikte mit einer bestehenden Sitemap.
Die Konsistenz zwischen Sitemap und tatsächlichen Seiten der Website überprüfen
Eine Sitemap zu erkunden, ohne sie mit den tatsächlich online verfügbaren Seiten zu vergleichen, ist wie einen veralteten Stadtplan zu lesen. Der nützlichste Überprüfungsschritt besteht darin, die URLs der Sitemap mit den HTTP-Antwortcodes zu vergleichen.
Man kann dies mit einem Crawler wie Screaming Frog oder mit einem Skript tun, das jede URL der XML-Datei durchläuft und den zurückgegebenen Status notiert. Jede URL mit 404, 410 oder 301 muss entfernt oder korrigiert werden. Auf einer aktiven Website sollte diese Operation einmal im Monat oder nach jeder gruppierten Inhaltslöschung geplant werden.
Auf PEPSeo ermöglicht die Größe der Website eine schnelle Überprüfung. Einige Minuten reichen aus, um sicherzustellen, dass jeder Link in der Sitemap auf eine funktionierende Seite verweist und dass die Sitemap die tatsächlich abrufbaren Inhalte genau widerspiegelt.
