Google, OpenAI, Microsoft et Anthropic adoptent une règle robots.txt commune contre l’entraînement IA

Le 30 octobre 2026, Kevin Kelley, ingénieur chez Anthropic, a déposé un brouillon de norme à l’IETF, l’organisme qui fixe les standards techniques d’Internet. Le texte crée un signal commun dans le robots.txt pour accepter ou refuser l’entraînement des IA. Dans la foulée, Google, OpenAI et Microsoft ont accepté de respecter ce signal, aux côtés d’Anthropic.

Jusqu’ici, les éditeurs devaient viser chaque fournisseur un par un, avec GPTBot pour OpenAI ou Google-Extended pour Google, à moins de passer par un intermédiaire comme Cloudflare.

Un jeton unique dans le robots.txt, reconnu par les quatre fournisseurs

La nouvelle règle introduit un jeton commun, __usage_ai-training, placé dans la ligne User-Agent comme un nom de robot classique. Un Disallow sous ce jeton exprime un refus de l’entraînement, un Allow exprime un accord, et les deux se combinent chemin par chemin.

Le site peut ainsi refuser l’entraînement sur l’ensemble de ses pages et l’accepter pour un seul dossier (par exemple un espace presse). Le texte conserve la syntaxe actuelle du robots.txt et reprend la définition de l’entraînement retenue par le groupe AI Preferences (AIPREF) de l’IETF, centrée sur les modèles d’IA générative. Le document reste à ce stade une proposition individuelle, soumise à la discussion du groupe de travail. Google le juge cohérent avec le code de bonnes pratiques de l’AI Act, qui reconnaît le robots.txt comme moyen d’exprimer ses préférences.

Le signal porte uniquement sur l’usage des contenus. L’exploration des sites reste gérée par les règles habituelles de chaque robot, et Microsoft précise que les sites restent éligibles aux résultats de Bing quel que soit leur choix. L’affichage des pages dans les réponses générées, comme les AI Overviews ou Copilot, relève d’autres réglages. Côté Google, un refus exprimé avec le jeton commun vaudra blocage de Google-Extended, sauf consigne explicite pour ce dernier.

Un déploiement étalé jusqu’en 2027 selon les fournisseurs

Les quatre fournisseurs ont annoncé des calendriers différents.

• Anthropic : l’entreprise applique déjà le signal et l’étendra progressivement à l’ensemble de ses services.
• OpenAI : l’entreprise prévoit de le prendre en compte dans les prochains mois.
• Microsoft : Bing s’y conformera à partir du 1ᵉʳ février 2027.
• Google : le moteur annonce une prise en charge en 2027, sans date précise pour l’instant.

Pour en profiter, les sites doivent ajouter la nouvelle ligne à leur robots.txt. Sans cette ligne, l’entraînement reste autorisé par défaut. Les blocages déjà en place, comme ceux qui visent GPTBot ou Google-Extended, continuent de fonctionner chacun de leur côté.