Test robots.txt : Google et les IA ont-ils accès ?

Un réglage de sécurité trop zélé, une extension mal configurée, une ligne copiée d'un forum : il suffit d'une ligne dans le fichier robots.txt pour fermer votre site à Google ou aux assistants IA, sans que rien ne se voie à l'écran. Ce test robots.txt vous montre en quelques secondes qui peut lire votre site, et qui ne le peut pas.

Comment lire le résultat du test

Pour chaque robot, l'outil applique les règles de votre fichier à l'adresse saisie, en suivant l'interprétation publiée par Google : le groupe de règles qui désigne le robot le plus précisément s'applique, sinon le groupe général « * » ; entre deux règles, la plus longue l'emporte, et à égalité, la moins restrictive¹.

Les robots testés, et à quoi ils servent

Tous les robots ne font pas la même chose. Les éditeurs distinguent désormais trois familles : la recherche, l'entraînement des modèles, et les visites déclenchées par un utilisateur.

Recherche ou entraînement : que faut-il autoriser ?

Si vous voulez être trouvé et cité, la règle est simple : laissez passer tous les robots de recherche. Pour les robots d'entraînement, c'est une décision qui vous appartient ; la refuser ne change rien à votre visibilité dans les réponses avec lien. Voici un exemple de fichier qui ouvre la recherche et ferme l'entraînement :

Avec ce fichier, Googlebot, Bingbot, OAI-SearchBot, Claude-SearchBot et PerplexityBot suivent le groupe « * » et peuvent tout lire. Attention : un robot qui a son propre groupe ne lit que celui-là ; les règles de « * » ne s'y ajoutent pas¹.

Les erreurs fréquentes dans un robots.txt

• « Disallow: / » oublié après une refonte : beaucoup de sites en construction bloquent tout, et la ligne reste après la mise en ligne. C'est l'une des causes de notre guide pourquoi mon site n'apparaît pas sur Google.
• Bloquer un robot de recherche en pensant bloquer l'entraînement : OAI-SearchBot à la place de GPTBot, par exemple.
• Compter sur robots.txt pour cacher une page : il contrôle l'exploration, pas l'indexation ; une page bloquée peut encore apparaître, sans extrait¹.
• Un fichier au mauvais endroit : il doit être à la racine (votre-site.fr/robots.txt) et ne vaut que pour cet hôte et ce protocole ; un sous-domaine a besoin du sien¹.
• Une page web à la place du fichier : certains sites renvoient leur page d'accueil à l'adresse /robots.txt. Les robots la traitent alors comme un fichier absent.

Au-delà du fichier : pare-feu et hébergeur

Un robots.txt parfait ne suffit pas si votre hébergeur, votre CDN ou une extension de sécurité refuse les robots en amont. Certains services proposent un réglage pour bloquer les « robots IA » en un clic, indépendamment du fichier. Si notre outil affiche « votre site refuse les visites automatiques », vérifiez ces réglages : les robots de Google et des IA risquent d'être refusés eux aussi. Après une modification, comptez un délai avant qu'elle soit prise en compte ; OpenAI l'estime à environ 24 heures pour sa recherche².

Et ensuite : être cité, pas seulement lu

L'accès des robots est une condition, pas une garantie. Pour être cité par ChatGPT, Claude, Gemini ou Perplexity, il faut ensuite des pages indexées qui répondent nettement à des questions précises, des faits vérifiables et une entreprise décrite sans ambiguïté. Notre guide du GEO SEO détaille les six leviers, et le test de données structurées vérifie comment vos pages décrivent votre entreprise.

C'est ce travail que fait Lusius, l'agent GEO : il règle l'accès des robots, corrige votre site et publie chaque mois 8 à 30 contenus selon l'offre, avec un suivi de vos citations dans les IA. Dès 99 € HT par mois en annuel, détail sur la page tarifs.