Robots- & Sitemap-Check

Das Robots-&-Sitemap-Tool analysiert die robots.txt und die XML-Sitemap Ihrer Website in Sekunden und zeigt Ihnen genau, welche Seiten Suchmaschinen-Bots erreichen können, welche blockiert sind und ob Ihre Sitemap gültig ist. Sie geben Ihre URL ein; das Tool markiert Crawl-Blockaden, widersprüchliche Regeln und fehlende Sitemap-Einträge und liefert Ihnen direkt umsetzbare Korrekturen.

Diese beiden Dateien sind die Türsteher der technischen SEO: Die robots.txt legt fest, wohin Bots auf Ihrer Website dürfen, während die XML-Sitemap die URLs auflistet, die indexiert werden sollen. Laut der offiziellen Google-Dokumentation darf eine einzelne Sitemap-Datei maximal 50.000 URLs oder 50 MB (unkomprimiert) enthalten (Google Search Central, 2025), und in der robots.txt wird alles jenseits von 500 KiB ignoriert (Google robots.txt Spec, 2025).

Das Tool ruft Ihre /robots.txt und Ihre XML-Sitemap-Dateien ab und beantwortet drei Kernfragen: Können Bots Ihre wichtigen Seiten erreichen? Ist Ihre Sitemap gültig und in der robots.txt hinterlegt? Widersprechen sich die beiden Dateien? Das Ergebnis erhalten Sie sofort, ohne den Browser zu verlassen.

Konkret prüft das Tool:

• Erreichbarkeit: ob die robots.txt mit Statuscode 200 antwortet oder ob sie versehentlich die gesamte Website mit Disallow: / sperrt.
• Blockierte kritische Dateien: ob CSS-, JavaScript- oder Bildverzeichnisse gesperrt sind — Google benötigt diese Ressourcen, um Seiten korrekt zu rendern.
• Sitemap-Eintrag: ob in der robots.txt eine Sitemap:-Zeile existiert und die angegebene Adresse tatsächlich erreichbar ist.
• Sitemap-Gültigkeit: ob das XML fehlerhaft ist, das Limit von 50.000 URLs / 50 MB überschreitet oder blockierte URLs auflistet.
• Bot-spezifische Regeln: ob die Regeln für Googlebot, Bingbot und KI-Crawler wie GPTBot korrekt formuliert sind.

Die Ausgabe ist kein roher Dateiauszug: Jeder Befund kommt mit einer Erklärung, warum er relevant ist, und einer konkreten Anleitung zur Behebung.

Korrekt konfigurierte robots.txt- und Sitemap-Dateien verhindern, dass Suchmaschinen ihr Crawl-Budget verschwenden, und beschleunigen die Entdeckung der richtigen Seiten. Eine Fehlkonfiguration dagegen führt zu stillen Katastrophen — im Extremfall fliegt die gesamte Website aus dem Index.

Der häufigste Fehler ist, die robots.txt als Instrument zur Indexierungssteuerung zu verstehen. Google sagt es unmissverständlich: Die robots.txt ist kein Mechanismus, um eine Seite aus Google herauszuhalten; eine blockierte URL, die Links von anderen Websites erhält, kann trotzdem in den Suchergebnissen erscheinen, obwohl ihr Inhalt nie gecrawlt wurde (Google Search Central, 2025). Wer eine Seite wirklich verbergen will, braucht ein noindex-Tag oder einen Passwortschutz.

Die zweite große Falle ist die Kombination von noindex und Disallow. Ist eine Seite in der robots.txt blockiert, öffnet der Bot sie nie und sieht das noindex-Tag folglich auch nie — die Seite bleibt in den Suchergebnissen. Diesen Widerspruch erkennt das Tool automatisch. Den Indexierungsstatus können Sie zusätzlich seitenweise mit unserem Tool Indexierbarkeits-Check überprüfen.

Kurz gesagt: Die robots.txt sagt Bots, was sie nicht crawlen sollen, während die Sitemap angibt, was gecrawlt und indexiert werden soll. Beide ergänzen sich, dürfen sich aber niemals widersprechen — eine in der robots.txt blockierte URL gehört nicht in die Sitemap.

Quellen: Google robots.txt Spec, 2025 und Google Sitemap Docs, 2025. Beide Dateien sind lediglich Signale; ohne inhaltliche Qualität und technische Solidität garantiert keine von beiden allein die Indexierung.

Geben Sie Ihre Domain ein und starten Sie den Scan; das Tool erstellt in Sekunden einen Bericht zu robots.txt und Sitemap. Anschließend arbeiten Sie die Befunde nach Priorität ab.

1. Root-Domain eingeben (z. B. https://ihre-website.de). Das Tool ruft automatisch die /robots.txt und die deklarierten Sitemaps ab.
2. Rot markierte Blockaden zuerst beheben: Ein versehentliches Disallow: / oder eine CSS/JS-Blockade hat höchste Priorität — im Live-Betrieb verursacht so etwas massive Traffic-Verluste.
3. Sitemap-Zeile ergänzen: Fügen Sie am Ende der robots.txt Sitemap: https://ihre-website.de/sitemap.xml hinzu. Google erlaubt mehrere Sitemap-Zeilen ohne Obergrenze.
4. Widersprüchliche URLs bereinigen: Jede URL, die in der Sitemap steht, aber in der robots.txt blockiert ist, in einer der beiden Dateien korrigieren.
5. In der Search Console einreichen und das Verhältnis von gefundenen zu indexierten URLs beobachten.

Sobald die Befunde umgesetzt sind, sollten Sie die weiteren technischen Prüfungen für Ihre gesamte Website durchführen: Duplicate-Content-Signale mit dem Canonical-Check, mehrsprachige Auszeichnungen mit dem Hreflang-Check und strukturierte Daten mit dem Schema-Generator validieren. Zusammen bilden sie ein solides technisches SEO-Fundament.

Der folgenschwerste Fehler ist eine Disallow: /-Zeile, die aus der Staging-Umgebung in die Produktion übernommen wird — diese eine Zeile sperrt die gesamte Website für das Crawling. Das Tool markiert unter anderem folgende Fehler:

• CSS/JS blockieren: Wer Verzeichnisse wie /wp-content/ oder /assets/ komplett sperrt, verhindert das korrekte Rendering durch Google und beschädigt die Signale zur Mobilfreundlichkeit.
• Die Sitemap blockieren: Deckt eine Regel in der robots.txt auch die Sitemap-URL ab, erreicht der Googlebot die Sitemap nie.
• Fehler bei Groß-/Kleinschreibung und Pfaden: Pfade in der robots.txt unterscheiden Groß- und Kleinschreibung; /Ordner/ und /ordner/ werden unterschiedlich interpretiert.
• robots.txt zur Indexierungssteuerung nutzen: Für eine Seite, die verborgen bleiben soll, gehört ein noindex-Tag her — überprüfbar mit dem Indexierbarkeits-Check —, keine Blockade.
• KI-Bots ignorieren: Ohne eigene Regeln für Crawler wie GPTBot und Google-Extended haben Sie keine Kontrolle darüber, wie Ihre Inhalte für das KI-Training verwendet werden.

Wenn Sie zusätzlich die Signale auf Meta-Ebene überprüfen möchten, ergänzt der Meta-Beschreibungs-Generator Ihre Sichtbarkeit in den SERPs.

Nein. Eine Sitemap beschleunigt lediglich die Entdeckung; sie garantiert keine Indexierung. Google stellt klar, dass eine URL in der Sitemap nicht automatisch indexiert wird — entscheidend sind Crawl-Budget, inhaltliche Qualität und technische Solidität (Google Sitemaps Report, 2025).

Genau deshalb ist es kontraproduktiv, dünne, doppelte oder minderwertige Seiten in die Sitemap aufzunehmen: Das verschwendet Crawl-Budget und senkt die wahrgenommene Qualität Ihrer Website. Eine ideale Sitemap enthält ausschließlich die kanonischen, wertvollen URLs, die Sie tatsächlich indexiert sehen wollen. Liegt in der Search Console die Zahl der "gefundenen" URLs deutlich über der Zahl der "indexierten", sollten Sie die Fehler im Bericht zur Indexabdeckung analysieren.

Sitemap-Gesundheit ist nur ein Baustein einer ganzheitlichen technischen SEO-Strategie. Wenn Sie ein Experten-Audit Ihrer robots.txt- und Sitemap-Konfiguration wünschen oder ein technisches SEO-Fundament auf Enterprise-Niveau aufbauen möchten, nehmen Sie Kontakt mit Sora Yazılım auf. Unser Team liefert End-to-End-Lösungen für Crawling, Indexierung und GEO/AEO-Sichtbarkeit.

2026 entscheidet die robots.txt über mehr als Ihre Google-Rankings: Sie bestimmt, ob ChatGPT, Perplexity und Google AI Overviews Ihre Website als Quelle zitieren können. Wer einen KI-Crawler blockiert, verschwindet aus den Antworten dieser Plattform — jede Regel ist damit eine Sichtbarkeitsentscheidung, nicht mehr nur eine Frage des Crawl-Budgets.

Die entscheidende Unterscheidung verläuft zwischen Crawlern, die Trainingsdaten sammeln, und Crawlern, die Seiten abrufen, um sie in Live-Antworten zu zitieren:

Für ein Unternehmen, das in KI-Antworten zitiert werden möchte, lautet die sinnvolle Grundeinstellung: Antwort- und Such-Bots offen lassen und die Frage der Trainings-Bots als separate strategische Entscheidung behandeln. Ein reflexhaftes "Alles blockieren" kann Ihre Marke vollständig aus dem KI-Antwort-Ökosystem löschen. Der Check zeigt auf einen Blick, welche Regel für welchen dieser Bots gilt — Sie wissen also genau, welche Tür für wen offen steht, statt es zu erraten.

Zwei Schritte verhindern die meisten Migrationskatastrophen: Stellen Sie sicher, dass das Disallow: / aus der Staging-Umgebung nie in die produktive robots.txt gelangt, und bauen Sie die Sitemap so neu auf, dass sie ausschließlich finale URLs mit Statuscode 200 enthält. Wird einer der beiden Schritte übersprungen, ist das der klassische Grund für Traffic-Einbrüche nach dem Launch.

Eine praxistaugliche Checkliste für den Launch-Tag:

1. Vor dem Go-live: Überprüfen Sie, dass sich die robots.txt von Staging und Produktion unterscheiden — Sperrregeln der Testumgebung dürfen nicht live gehen.
2. Am Launch-Tag: Generieren Sie die Sitemap für die neue URL-Struktur neu. Es dürfen keine URLs mit 301-Weiterleitung oder 404-Fehler darin verbleiben.
3. robots.txt aktualisieren: Die Sitemap:-Zeile muss auf die neue Sitemap zeigen. Bei einem Domainwechsel muss die robots.txt der alten Domain offen bleiben, damit Google die 301-Weiterleitungen crawlen kann.
4. Search Console informieren: Reichen Sie die neue Sitemap ein und nutzen Sie bei einem Domain-Umzug das Tool zur Adressänderung.
5. Die ersten Wochen überwachen: Kontrollieren Sie Crawling-Fehler und die Zahl der indexierten Seiten täglich, bis sich die Werte stabilisieren.

Die Sitemap ist nur einer von zwei Entdeckungspfaden; der andere ist ein kohärentes internes Linknetzwerk. Prüfen Sie nach der Umstrukturierung der URLs die Verbindungen zwischen Ihren Seiten mit dem Tool Interne Verlinkung, damit Bots die neue Struktur neben der Sitemap auch über Links wiederentdecken können.

Drei Signale genügen: das Verhältnis von eingereichten zu indexierten URLs im Sitemaps-Bericht der Search Console, die Ausschlussgründe im Bericht zur Seitenindexierung und die Verteilung der Statuscodes im Bericht zu den Crawling-Statistiken. Zusammen zeigen sie, ob die beiden Dateien tatsächlich ihre Arbeit tun.

So sieht Erfolg in der Praxis aus:

• Sitemaps-Bericht: Die Zahl der indexierten URLs nähert sich der Zahl der eingereichten an; eine wachsende Lücke bedeutet, dass minderwertige oder widersprüchliche URLs die Sitemap verunreinigen.
• Bericht zur Seitenindexierung: Die Posten "Durch robots.txt blockiert" und "Gefunden – zurzeit nicht indexiert" nehmen im Zeitverlauf ab.
• Crawling-Statistiken: Die überwiegende Mehrheit der Googlebot-Anfragen liefert Statuscode 200; 4xx/5xx-Antworten und Weiterleitungsketten bleiben niedrig.
• Tool-Scan: Führen Sie den Check auf dieser Seite nach jedem wichtigen Release erneut aus und bestätigen Sie, dass die Zahl der roten Befunde bei null bleibt.

Der am häufigsten übersprungene Schritt ist, daraus eine monatliche Routine zu machen — ein einziges Deployment kann die robots.txt unbemerkt überschreiben, deshalb ist "einmal repariert" kein dauerhafter Zustand. Und sobald Ihre Seiten zuverlässig indexiert sind, verlagert sich die Arbeit auf das Gewinnen von Klicks: Identifizieren Sie Suchanfragen mit schwacher Klickrate mit dem Tool CTR-Chancen und stärken Sie die dahinterliegenden Title-Tags und Meta-Beschreibungen.