XML-Sitemap & robots.txt – so steuerst du, was Google sieht (und was nicht)

Du möchtest, dass Google deine Website richtig versteht? Dass nur die relevanten Seiten indexiert werden – und nicht etwa interne Suchergebnisse, doppelte Inhalte oder Admin-Bereiche? Dann brauchst du zwei Werkzeuge, die oft unterschätzt werden: die robots.txt und die XML-Sitemap.

Beide Dateien sind zentral für dein technisches SEO – und helfen dir dabei, die Sichtbarkeit deiner Website aktiv zu steuern. In diesem Artikel erfährst du, wie sie funktionieren, was du damit erreichen kannst und welche typischen Fehler du vermeiden solltest.

Was macht die robots.txt?

Die robots.txt ist eine Art digitaler Wegweiser für Suchmaschinen. Wenn ein Googlebot deine Website besucht, schaut er sich zuerst an, was er lesen darf – und was nicht.

Du kannst über diese Datei bestimmte Bereiche deiner Website vom Crawling ausschließen. Zum Beispiel willst du vielleicht nicht, dass der Admin-Bereich, interne Suchseiten oder temporäre Testbereiche von Google analysiert und indexiert werden.

Wichtig zu wissen: Wenn eine Seite durch die robots.txt gesperrt ist, kann sie theoretisch trotzdem im Index auftauchen, sofern andere Websites auf sie verlinken. Das Crawling wird blockiert – die Indexierung nicht unbedingt.

Was ist eine XML-Sitemap?

Die XML-Sitemap ist das Gegenstück zur robots.txt. Während du mit der einen Suchmaschinen den Zugang zu bestimmten Seiten verwehren kannst, hilfst du ihnen mit der anderen, die wichtigsten Seiten gezielt zu finden.

Eine Sitemap listet strukturierte Informationen zu allen relevanten Seiten deiner Website auf. Sie zeigt Google z. B., wann eine Seite zuletzt aktualisiert wurde, wie wichtig sie im Verhältnis zu anderen Seiten ist und wie oft sie sich ändert. Für große Websites, Onlineshops oder Blogs mit vielen Einträgen ist eine XML-Sitemap fast schon Pflicht.

Richtig eingesetzt, sorgt die Sitemap dafür, dass neue oder aktualisierte Inhalte schneller in den Index aufgenommen werden – besonders dann, wenn die interne Verlinkung (noch) nicht optimal ist.

Warum diese beiden Dateien für dein SEO so wichtig sind

Google crawlt das Internet in Etappen – und nicht unendlich. Gerade größere Websites müssen sicherstellen, dass der sogenannte „Crawl-Budget“ effizient genutzt wird.

Mit einer guten robots.txt vermeidest du, dass Google unnötig Zeit in unwichtige Bereiche deiner Website steckt – etwa in die Sortieroptionen deines Onlineshops oder in tausend Varianten eines Filtersystems.

Mit einer aktuellen und durchdachten XML-Sitemap dagegen hilfst du Google, die relevanten Inhalte schneller zu erkennen und zu indexieren.

Das bedeutet:

Weniger Müll im Index.

Mehr Sichtbarkeit für das, was zählt.

Was sollte nicht von Google gecrawlt werden?

Einige Inhalte sollten grundsätzlich von der Analyse ausgeschlossen sein – aus SEO- wie aus Datenschutzsicht. Dazu gehören:

• interne Login- und Admin-Bereiche

• Seiten mit sensiblen Nutzerdaten (z. B. Bestellverläufe)

• temporäre Testumgebungen

• interne Suchergebnisse

• Endlosschleifen wie Sortier- oder Filteroptionen

• doppelte Inhalte wie Druckansichten

Indem du diese Bereiche gezielt ausschließt, lenkst du den Fokus auf das Wesentliche – und vermeidest, dass wertlose oder redundante Seiten in den Index wandern.

Was sollte in die XML-Sitemap aufgenommen werden?

Grundsätzlich gehören alle Seiten in die Sitemap, die du bei Google sehen möchtest – also jene Inhalte, die für Besucher:innen und Suchmaschinen gleichermaßen relevant sind. Dazu zählen:

• deine Startseite

• Hauptkategorien oder Leistungsbereiche

• einzelne Produkt- oder Angebotsseiten

• Blogartikel, Ratgeber oder Magazinbeiträge

• spezielle Landingpages

Nicht in die Sitemap gehören:

• Seiten, die bewusst auf „noindex“ stehen

• doppelte Seiten (z. B. Druckversionen)

• Weiterleitungen

• fehlerhafte oder veraltete Seiten

Die Sitemap ist wie dein persönlicher SEO-Fahrplan – also sollte er nur die besten Strecken enthalten.

So erstellst du Sitemap und Steuerung – auch ohne Technikteam

Du brauchst kein Entwicklerteam, um eine Sitemap zu erstellen oder Google gezielt zu lenken.

Wenn du ein CMS wie WordPress nutzt, kannst du einfach auf bewährte Plugins zurückgreifen. Tools wie Yoast SEOoder Rank Math bieten komfortable Assistenten zur Erstellung und Verwaltung deiner Sitemap – inklusive automatischer Updates bei neuen Inhalten.

Auch die Steuerung der Sichtbarkeit gelingt über viele dieser Tools. Mit wenigen Klicks lässt sich etwa definieren, welche Beitragstypen in der Sitemap erscheinen und welche Suchmaschinen ignorieren sollen.

Bei Systemen wie Shopify, TYPO3 oder Joomla gibt es entweder eingebaute Funktionen oder spezialisierte Erweiterungen.

Die Sitemap bei Google einreichen

Sobald deine XML-Sitemap erstellt ist, solltest du sie bei Google anmelden. Das geht über die Google Search Console – dein zentrales Steuerzentrum für Indexierung und technische SEO.

Dort findest du einen eigenen Menüpunkt für Sitemaps. Trage hier einfach die vollständige URL deiner Datei ein – zum Beispiel: https://www.deinewebsite.de/sitemap.xml. Google wird die Sitemap abrufen, analysieren und regelmäßig neu einlesen.

Du bekommst dort auch Rückmeldungen:

Wie viele Seiten wurden gefunden? Welche wurden indexiert? Gibt es Fehler?

Typische Fehler – und wie du sie vermeidest

Viele Websites machen unbemerkt grundlegende Fehler bei der Steuerung ihrer Indexierung. Hier sind die häufigsten Stolperfallen – und wie du sie umgehst:

❌ Seiten sind in der Sitemap, aber auf „noindex“ gesetzt

→ Diese Kombination ist widersprüchlich. Entscheide dich: Entweder willst du die Seite bei Google – oder eben nicht.

❌ Veraltete Sitemaps

→ Seiten wurden gelöscht, geändert oder weitergeleitet – doch die Sitemap wurde nicht aktualisiert. Achte auf Konsistenz.

❌ Unwichtige Seiten werden nicht ausgeschlossen

→ Filterseiten, doppelte Varianten oder systemgenerierte Inhalte landen im Index – und verwässern dein Rankingprofil.

❌ „noindex“-Seiten werden zusätzlich vom Crawling ausgeschlossen

→ Wenn du nicht willst, dass eine Seite indexiert wird, dann lass sie crawlen, aber setz auf „noindex“. Blockierst du den Zugriff komplett, kann Google den Hinweis gar nicht sehen.

Fazit: Mit robots.txt und XML-Sitemap steuerst du dein digitales Schaufenster

Technisches SEO ist oft still im Hintergrund – aber genau dort entscheidet sich, wie gut deine Inhalte performen.

Die robots.txt und die XML-Sitemap sind zwei der wirkungsvollsten Werkzeuge, um Google bewusst zu steuern:

✅ Was darf gesehen werden?

✅ Was soll außen vor bleiben?

✅ Und was soll besonders schnell und zuverlässig im Index landen?

Wenn du diese Mechanismen richtig einsetzt, steuerst du deine Sichtbarkeit aktiv und strategisch – statt sie dem Zufall zu überlassen.