Multi-Bot robots.txt-Test
Testen Sie Ihre robots.txt gegen 18 User-Agents, klassische Suchmaschinen und KI-Bots, mit RFC-9309-konformer Regelpriorität. Sie entscheiden, wer Ihre Seite crawlen darf.
Ihre robots.txt
Wir hängen /robots.txt automatisch an, falls nötig.
Zugriffsmatrix
| Bot | Familie | Pfade |
|---|
Analysierten robots.txt-Inhalt anzeigen
Auch entdecken
Alle WerkzeugePrüfen Sie Ihre hreflang-Tags: gültige ISO-Codes, Reziprozität zwischen Sprachversionen, x-default, Konformität mit Googles Empfehlungen.
Prüfen Sie HTTP-Response-Header: x-robots-tag, Cache-Control, HSTS, Link, Vary, Server. SEO- und Sicherheits-Anmerkungen zu relevanten Headern.
Validieren Sie Ihre sitemap.xml: Struktur, URL-Anzahl, lastmod-Ausreißer, Sitemap-Index-Rekursion. Konform zu sitemaps.org und Google.
Testen Sie bis zu 200 URLs auf einmal: HTTP-Code, Weiterleitungskette, Antwortzeit. Ideal für Backlink-Profil-Audits.
Häufig gestellte Fragen
Welche User-Agents werden getestet? +
Das Tool testet 18 Crawler in 4 Familien. Suchmaschinen (Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider), Bild / Spezial (Googlebot-Image, Googlebot-News), generative KI (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Perplexity-User, Applebot, Applebot-Extended, Google-Extended, CCBot), und der *-Wildcard. Die KI-Familie ändert sich schnell, wir passen regelmäßig an.
Wie funktioniert die Regelpriorität? +
Nach dem Robots-Exclusion-Protokoll (RFC 9309 seit 2022) gewinnt die längste auf den Pfad passende Regel, unabhängig von der Reihenfolge in der Datei. Sind Allow: /blog/ und Disallow: /blog/draft/ definiert, ist /blog/draft/2024.html blockiert, weil die Disallow-Regel spezifischer ist. Bei exakt gleicher Länge gewinnt bei Google Allow.
Warum gegen KI-Bots testen? +
GPTBot, ClaudeBot, PerplexityBot zu blockieren verhindert, dass Ihre Inhalte diese Modelle trainieren oder in deren Antworten zitiert werden. Umgekehrt fördert das Erlauben dieser Bots das Erscheinen Ihrer Marke in ChatGPT, Claude, Perplexity. Ein strategischer Trade-off (KI-Sichtbarkeit vs geistiges Eigentum), der eine ausdrückliche Entscheidung verdient, kein vererbter Default.
Meine robots.txt ist nicht öffentlich, kann ich trotzdem testen? +
Ja. Fügen Sie den Inhalt direkt in den zweiten Tab "Inhalt einfügen" ein, statt eine URL anzugeben. Der Test läuft lokal im Browser, ohne Übertragung an einen Drittserver.
Jenseits der robots.txt, wer spricht in LLMs über Ihre Seite?
Stringer hilft Marken, sich in Inhalten zu positionieren, die ChatGPT, Claude und Perplexity übernehmen, via Links und Erwähnungen auf französischen Medien.