Combien de bots IA sont vraiment passés lire votre fichier llms.txt ce mois-ci ? Pour la plupart des sites qui en publient un, la réponse est zéro. Une étude Ahrefs menée sur 137 000 domaines en mai 2026 montre que 97 % des fichiers llms.txt ne reçoivent aucune requête, tous bots confondus, humains compris. Le standard existe depuis le 3 septembre 2024, initié par Jeremy Howard (Answer.AI). Il est déjà présenté comme acquis dans une bonne partie des guides SEO publiés cette année. Aucun fournisseur d’IA majeur n’a pourtant confirmé officiellement s’en servir pour choisir quoi citer.
Ce décalage compte pour qui cherche à limiter la casse d’un AI Overview qui capte le trafic informationnel sur les requêtes longue traîne : llms.txt promet un raccourci vers la citation IA. Les logs serveur racontent une autre histoire. Ce guide croise les documentations officielles (OpenAI, Anthropic, Google, Perplexity) et les données de crawl mesurées pour établir, bot par bot, qui lit réellement ce fichier et qui l’ignore.
Ce que le standard llms.txt propose réellement
llms.txt est un fichier Markdown placé à la racine du domaine (/llms.txt), distinct de robots.txt. Jeremy Howard, cofondateur d’Answer.AI et de fast.ai, l’a proposé le 3 septembre 2024 pour un problème précis. Les fenêtres de contexte des LLM sont trop petites pour ingérer un site entier. Convertir une page truffée de navigation et de publicités en texte exploitable reste laborieux. Le fichier liste les pages jugées prioritaires par l’éditeur, avec un lien vers une version .md de chacune.
La différence avec robots.txt est structurelle. robots.txt est un protocole contraignant respecté depuis 1994 par la quasi-totalité des crawlers sérieux. Ce protocole autorise ou bloque l’accès à une URL. llms.txt n’a aucune valeur contraignante : c’est une indication de priorité de lecture pour un bot déjà volontaire. Un bot peut ignorer totalement /llms.txt et continuer à crawler le reste du site normalement, du moment que robots.txt le permet.
Ce que les logs réels racontent (étude Ahrefs, 137 000 domaines)
28 % des domaines suivis par Ahrefs Web Analytics publient un llms.txt, un chiffre à traiter comme un plafond haut puisque cette base clients est plus technophile que le web dans son ensemble. Sur environ 38 000 fichiers valides analysés, 97 % n’ont reçu aucune requête en mai 2026. Zéro clic, zéro fetch. Aucune trace dans les logs.
Sur les 3 % de fichiers qui reçoivent du trafic (environ 1 100 domaines), 96 % des requêtes proviennent de bots et non d’humains. Et parmi ces bots, seulement 19,5 % sont des outils IA identifiés par leur nom : le reste se répartit entre outils d’audit SEO (SiteAuditBot, WebPageTest, 21,7 % des requêtes), bots non identifiés (14,9 %), crawlers classiques comme Googlebot et Amazonbot (13,1 %) et outils de profilage technique type BuiltWith (11,6 %). La majorité du trafic vers /llms.txt ne vient même pas des IA que le fichier est censé guider.
« FWIW no AI system currently uses llms.txt » (John Mueller, Google, Bluesky, 17 juin 2025). Mueller compare directement le fichier à la balise meta keywords, abandonnée par les moteurs depuis plus d’une décennie parce qu’elle est entièrement contrôlée par l’éditeur du site et donc manipulable.
La plupart des guides qui recommandent llms.txt citent la promesse initiale d’Answer.AI sans jamais vérifier si un bot la respecte en pratique. Les données Ahrefs confirment, un an plus tard, la déclaration de Mueller sur un échantillon mesuré de 137 000 sites.
Bot par bot : ce que chaque documentation dit
Le respect de robots.txt et la lecture de llms.txt sont deux sujets séparés. La confusion entre les deux reste la principale source d’erreur dans les guides qui promettent une meilleure citation IA en publiant un simple fichier Markdown.
OpenAI : trois agents, un seul cadre documenté
OpenAI documente trois user-agents distincts sur platform.openai.com/docs/bots depuis fin 2024 : GPTBot (entraînement des modèles), OAI-SearchBot (ChatGPT en mode recherche) et ChatGPT-User (fetch en direct pendant une session utilisateur). Les trois honorent robots.txt selon la documentation officielle. Aucune des trois pages ne mentionne llms.txt comme signal exploité pour la sélection de contenu ou le query fanout qui découpe une requête en sous-requêtes côté AI Mode.
Anthropic : ClaudeBot, Claude-User, Claude-SearchBot
Anthropic a mis à jour sa documentation autour du 20 février 2026 pour préciser le rôle de ses trois crawlers : ClaudeBot collecte les données d’entraînement, Claude-User récupère une page quand un utilisateur pose une question à Claude, Claude-SearchBot indexe le contenu pour les résultats de recherche. Particularité notable : les trois honorent robots.txt, y compris Claude-User, ce qui distingue Anthropic d’OpenAI et de Perplexity sur leurs fetchers déclenchés par l’utilisateur. Aucune mention officielle de llms.txt dans cette documentation non plus.
PerplexityBot et Perplexity-User : deux comportements opposés
PerplexityBot, le crawler d’indexation, respecte robots.txt d’après la documentation Perplexity. Perplexity-User, le fetcher déclenché par une question utilisateur, l’ignore ouvertement : la documentation officielle indique qu’il ignore généralement les règles robots.txt puisque la requête est initiée par un humain en temps réel. En août 2025, Cloudflare a documenté un comportement plus problématique : après blocage via robots.txt, un bot Perplexity non déclaré réapparaissait sous une identité différente, se faisant passer pour un navigateur Chrome sur Mac avec un user-agent, une IP et parfois un ASN différents. Cloudflare a retiré Perplexity de sa liste de bots vérifiés à la suite de ce constat.
Google-Extended : ni crawler ni lecteur de llms.txt
Google-Extended est un jeton de contrôle dans robots.txt, introduit en septembre 2023, qui régule l’usage des données déjà indexées par Googlebot pour l’entraînement de Gemini et le grounding. Il n’a pas de user-agent HTTP propre et ne récupère aucune page lui-même. Le bloquer n’affecte pas l’inclusion dans l’AI Overview : elle dépend de l’indexation classique et de l’éligibilité au snippet.
CCBot, Amazonbot, Applebot-Extended : robots.txt oui, llms.txt sans réponse
Common Crawl (CCBot) et Amazon (Amazonbot) documentent un respect de robots.txt, tout comme Apple via Applebot-Extended, le jeton d’opt-out spécifique à l’entraînement IA du groupe. Aucun des trois n’a publié de position officielle sur llms.txt à ce jour. Les données Ahrefs ne les identifient pas non plus parmi les bots IA nommés qui consultent le fichier : leur trafic, quand il existe, se classe dans la catégorie crawling classique.
Le tableau de référence : llms.txt, robots.txt et user-agent exact
Les user-agents exacts servent à filtrer vos logs serveur sans ambiguïté. Copiez-les tels quels dans votre commande grep.
| Bot | Lit llms.txt | Respecte robots.txt | User-agent exact |
|---|---|---|---|
| GPTBot (OpenAI) | Non confirmé | Oui | GPTBot |
| OAI-SearchBot (OpenAI) | Non confirmé | Oui | OAI-SearchBot |
| ChatGPT-User (OpenAI) | Non confirmé | Oui | ChatGPT-User |
| ClaudeBot (Anthropic) | Non confirmé | Oui | ClaudeBot |
| Claude-User (Anthropic) | Non confirmé | Oui | Claude-User |
| PerplexityBot (Perplexity) | Non confirmé | Oui | PerplexityBot |
| Perplexity-User (Perplexity) | Non confirmé | Généralement non | Perplexity-User |
| Google-Extended (Google) | Non, confirmé par Mueller | Sans objet (jeton robots.txt) | Aucun (piggyback Googlebot) |
| CCBot (Common Crawl) | Aucune position publiée | Oui | CCBot |
| Applebot-Extended (Apple) | Aucune position publiée | Oui | Applebot-Extended |
Vérifier ce que vos propres logs disent
Croire un tableau ou une documentation officielle a ses limites. Vos logs serveur des 30 derniers jours donnent la seule réponse qui compte pour votre domaine.
- Ouvrez les logs d’accès de votre serveur (Nginx : /var/log/nginx/access.log, Apache : /var/log/apache2/access.log ou l’équivalent chez votre hébergeur mutualisé via cPanel > Logs bruts).
- Filtrez les requêtes vers /llms.txt avec grep « llms.txt » access.log.
- Isolez le champ user-agent de chaque ligne retournée et comparez-le au tableau ci-dessus.
- Comptez les occurrences par bot sur la période concernée. Un seul hit de GPTBot en 30 jours reste du bruit statistique.
- Répétez l’opération chaque mois si vous maintenez le fichier : l’étude Ahrefs mesure un instantané de mai 2026, les proportions bougent d’un mois sur l’autre.
Sur un hébergement mutualisé sans accès aux logs bruts, un outil comme Ahrefs Web Analytics ou Cloudflare Bot Analytics fait le filtrage automatiquement à partir du nom du fichier consulté. C’est tout.
Faut-il publier un llms.txt malgré tout ?
Le coût de publication est presque nul, ce qui change le calcul de risque par rapport à d’autres chantiers SEO. Trois profils, trois réponses.
Documentation technique et API : oui. Les outils qui indexent des specs (assistants de code, agents de développement) sont justement le cas d’usage d’origine imaginé par Jeremy Howard. Un llms.txt qui pointe vers vos pages de référence API a une chance réelle d’être consommé par ces outils-là, distincts des crawlers IA grand public mesurés par Ahrefs.
Site éditorial classique visant l’AI Overview : non prioritaire. Rien ne relie aujourd’hui la présence d’un llms.txt à une citation dans les Preferred Sources d’un moteur de réponse. Ce qui influence la citation reste l’entity SEO, le balisage schema.org et la topical authority mesurée par les embeddings. Un fichier Markdown que 97 % des bots ignorent n’y change rien.
E-commerce ou site au rendering budget déjà tendu : non prioritaire non plus. Ajouter un fichier de plus à maintenir avec zéro preuve de lecture consomme du temps qui manque déjà ailleurs, sur les pages produit à fort potentiel de trafic.
Ce que changent ces données pour votre prochaine décision
llms.txt coûte 10 minutes à publier et zéro euro. Le vrai risque tient moins à sa création qu’à la conviction qu’il remplace le contenu structuré et l’autorité thématique qui font citer un site. Avant d’ajouter ce fichier à votre check-list de refonte technique, une seule vérification tranche le débat pour votre domaine précis.
Ouvrez vos logs serveur des 30 derniers jours : une seule requête vers /llms.txt émise par un user-agent IA nommé suffit à trancher le débat pour votre domaine.
