Test robots.txt multi-bots
Testez votre fichier robots.txt contre 18 user-agents — moteurs classiques et bots IA — avec la priorité de règles conforme RFC 9309. Vous décidez qui peut crawler votre site.
Votre robots.txt
On ajoute automatiquement /robots.txt si absent.
Matrice d'accès
| Bot | Famille | Paths |
|---|
Voir le contenu robots.txt analysé
À découvrir aussi
Tous les outilsVérifiez vos balises hreflang : codes ISO valides, réciprocité entre versions linguistiques, x-default, conformité aux recommandations Google.
Inspectez les en-têtes HTTP d'une URL : x-robots-tag, cache-control, HSTS, link, vary, server. Annotations sur les headers à impact SEO et sécurité.
Validez votre sitemap.xml : structure, comptage URLs, lastmod outliers, sitemap index avec récursion. Conformité aux spec sitemaps.org et Google.
Testez jusqu'à 200 URLs en une fois : code HTTP, chaîne de redirections, temps de réponse. Idéal pour auditer un profil de backlinks.
Questions fréquentes
Quels user-agents sont testés ? +
Cet outil teste 18 crawlers répartis en 4 familles : moteurs (Googlebot, Bingbot, DuckDuckBot, YandexBot, Baiduspider), image/spec (Googlebot-Image, Googlebot-News), IA génératives (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, anthropic-ai, PerplexityBot, Perplexity-User, Applebot, Applebot-Extended, Google-Extended, CCBot), et le wildcard *. La famille IA évolue vite — on l'ajuste régulièrement.
Comment fonctionne la priorité des règles ? +
Selon le protocole Robots Exclusion (RFC 9309 depuis 2022), c'est la règle la plus longue qui matche le path qui gagne, indépendamment de l'ordre dans le fichier. Si Allow: /blog/ et Disallow: /blog/draft/ sont définis, /blog/draft/2024.html est bloqué car la règle Disallow est plus spécifique. En cas d'égalité parfaite de longueur, c'est l'Allow qui l'emporte chez Google.
Pourquoi tester contre les bots IA ? +
Bloquer GPTBot, ClaudeBot, PerplexityBot empêche votre contenu d'entraîner ces modèles ou d'être cité dans leurs réponses. À l'inverse, autoriser ces bots favorise l'apparition de votre marque dans ChatGPT, Claude, Perplexity. C'est un trade-off stratégique (visibilité IA vs. propriété intellectuelle) qui mérite une décision explicite — pas un défaut hérité.
Mon robots.txt n'est pas accessible publiquement, je peux quand même tester ? +
Oui. Collez le contenu directement dans le second onglet "Coller le contenu" plutôt que de fournir une URL. Le test fonctionne en local navigateur, sans envoi à un serveur tiers.
Au-delà du robots.txt, qui parle de votre site dans les LLMs ?
Stringer aide les marques à se positionner dans les contenus repris par ChatGPT, Claude et Perplexity via des liens et mentions sur des médias français.