Des milliers de sites ont ajouté trois lignes dans leur fichier robots.txt pour « bloquer l’IA ». Une partie d’entre eux a obtenu l’inverse de ce qu’elle cherchait : disparaître des réponses de ChatGPT tout en continuant à nourrir son entraînement.
L’erreur ne vient pas d’une faute de syntaxe. Elle vient d’une confusion de vocabulaire : il n’existe pas un robot IA, mais quatre familles de robots qui n’ont ni le même rôle, ni la même contrepartie. Bloquer l’une ne vous coûte rien. Bloquer l’autre vous rend invisible dans les réponses générées. La décision se prend famille par famille, jamais en bloc.
Un site, quatre robots IA différents
Chaque éditeur d’IA — OpenAI, Anthropic, Google, Perplexity — fait passer plusieurs robots sur votre site, sous des noms distincts et pour des usages sans rapport entre eux.
Les robots d’entraînement aspirent votre contenu pour nourrir les futurs modèles. GPTBot (OpenAI), ClaudeBot (Anthropic), meta-externalagent (Meta), CCBot (Common Crawl). Ils ne vous envoient jamais un seul visiteur. Les bloquer ne vous coûte rien en trafic.
Les robots d’index construisent le catalogue dans lequel l’assistant va piocher quand un utilisateur pose une question. OAI-SearchBot, Claude-SearchBot, PerplexityBot. Ce sont eux, et eux seuls, qui déterminent si votre site peut être cité dans une réponse. Les bloquer, c’est choisir de ne plus exister dans ChatGPT ou Perplexity.
Les récupérateurs à la demande vont chercher une page précise parce qu’un humain vient de la demander : ChatGPT-User, Claude-User, Perplexity-User. Derrière chacun de ces passages, il y a une vraie personne avec une vraie intention. Les bloquer revient à fermer la porte à un visiteur.
Les jetons de contrôle ne sont pas des robots. Google-Extended et Applebot-Extended ne visitent jamais votre site et n’apparaîtront jamais dans vos statistiques. Ce sont des déclarations : écrire Google-Extended : Disallow signifie « n’utilisez pas mon contenu pour entraîner Gemini », sans aucun effet sur votre position dans Google.
Le robot qui s’entraîne n’est pas celui qui vous cite
C’est le point qui coûte le plus cher, et il tient en une phrase : chez OpenAI comme chez Anthropic, l’entraînement et la citation passent par deux robots portant deux noms différents.
Bloquer GPTBot ne vous fait pas sortir de ChatGPT. Votre contenu reste accessible via OAI-SearchBot, et vous pouvez toujours être cité dans les réponses. À l’inverse, bloquer OAI-SearchBot en croyant « se protéger de l’IA » vous prive des citations sans empêcher quoi que ce soit côté entraînement.
Perplexity documente explicitement que ses robots ne servent à aucun entraînement de modèle. Bloquer PerplexityBot n’a donc qu’un seul effet : ne plus apparaître dans Perplexity.
Les trois erreurs les plus fréquentes
Le blocage global. Ajouter User-agent: * suivi de Disallow: / pour « se protéger de l’IA » coupe aussi Googlebot, Bingbot, et tout le référencement classique avec. C’est l’erreur la plus destructrice, et elle n’arrête même pas les robots non déclarés, qui ne lisent pas le fichier.
Le mauvais robot du bon éditeur. Une ligne de trop ou une ligne oubliée, et vous obtenez le résultat symétrique de celui que vous visiez. Le nom exact compte : ClaudeBot et Claude-SearchBot ne font pas le même métier.
Croire que robots.txt s’applique à tout. Perplexity indique dans sa propre documentation que Perplexity-User ignore les règles robots.txt, au motif que la visite est déclenchée par un humain. OpenAI documente une exception comparable pour ChatGPT-User. Et Bytespider (ByteDance) n’a jamais publié la moindre documentation. Le fichier robots.txt reste indispensable, mais ce n’est pas un mur : c’est un panneau que les acteurs sérieux respectent.
Ce qu’il faut vérifier sur votre site
Ouvrez votresite.fr/robots.txt dans votre navigateur — le fichier est public, sur tous les sites. Puis vérifiez trois points, dans cet ordre :
- Aucun
Disallow: /sousUser-agent: *. Si cette ligne existe, tout le reste est secondaire : votre site se coupe de Google avant même de parler d’IA. OAI-SearchBot,Claude-SearchBotetPerplexityBotne sont bloqués nulle part. Si l’un d’eux l’est, c’est une décision qui doit être assumée, pas héritée d’une consigne mal comprise.GPTBot,ClaudeBot,meta-externalagentetCCBotsont traités selon votre position réelle sur l’entraînement. Ouvert ou fermé, l’important est que ce soit un choix.
Un dernier réflexe, souvent oublié : quand une agence ou un prestataire annonce avoir « bloqué l’IA », demandez la liste exacte des noms de robots concernés. Si la réponse ne contient pas de noms, le travail n’a pas été fait.
À transmettre à votre développeur
Le fichier robots.txt ne couvre qu’une partie du sujet. Trois points relèvent du serveur et pas du marketing :
- Le nom d’un robot est déclaratif, donc falsifiable. Toute analyse de logs qui compte les passages d’IA sans croiser les adresses IP avec les listes officielles publiées par OpenAI, Anthropic, Perplexity, Google et Microsoft produit des chiffres faux.
- Les récupérateurs qui ignorent robots.txt ne peuvent être arrêtés qu’au niveau du pare-feu applicatif ou du CDN — au prix de bloquer aussi de vrais visiteurs.
- Les robots non déclarés ne se traitent jamais dans robots.txt, qu’ils ne lisent pas, mais uniquement par des règles serveur.
Ce qui est documenté, ce qui ne l’est pas. Les noms de robots, leurs rôles et leur position sur robots.txt proviennent des documentations officielles d’OpenAI, Anthropic, Perplexity, Google et Apple, consultées le 11 septembre 2026. Le comportement réel de Bytespider face à robots.txt est contesté selon les observations de logs, sans position publique de ByteDance. Amazonbot mélange indexation et entraînement sans que la répartition soit publiée. Ce paysage change vite : de nouveaux noms apparaissent et d’anciens sont renommés chaque trimestre — une vérification semestrielle du robots.txt est un minimum raisonnable.
