Robots des IA : lesquels autoriser

Recherche, à la demande, entraînement : chaque assistant envoie plusieurs robots. Ce que chacun fait, ce qu'un blocage vous coûte, et comment régler robots.txt sur Shopify et WooCommerce.

Mis à jour le 9 octobre 2026 · par l'équipe skoup

Quatre familles de robots

Un assistant IA n'envoie pas un seul robot sur votre boutique, mais plusieurs. Chacun a un rôle, décrit par son éditeur, et c'est ce rôle qui dit ce qu'un blocage vous coûte.

Les robots de recherche construisent l'index où l'assistant cherche ses réponses. Bloqués, ils ne peuvent plus citer vos pages.
Les robots à la demande lisent une page au moment où un utilisateur pose sa question ou colle un lien. Plusieurs éditeurs préviennent que robots.txt peut ne pas s'appliquer à eux.
Les robots d'entraînement collectent du contenu pour les prochains modèles. Les bloquer ne retire pas vos pages des réponses de recherche.
Les moteurs de recherche (Googlebot, Bingbot, Applebot) : leur index sert aussi les assistants, comme les AI Overviews de Google ou Siri chez Apple.

Le tableau, éditeur par éditeur

Ce tableau reprend la documentation publique de chaque éditeur, lue le 9 octobre 2026. Les liens sont en bas de page.

Robot	Éditeur	Rôle	robots.txt selon la doc	Effet d'un blocage
`OAI-SearchBot`	OpenAI	Recherche de ChatGPT	Respecté	Le site n'apparaît plus dans les réponses de recherche de ChatGPT
`ChatGPT-User`	OpenAI	À la demande	« Peut ne pas s'appliquer »	Sans effet sur la recherche, selon OpenAI
`GPTBot`	OpenAI	Entraînement	Respecté	Contenu exclu de l'entraînement
`Claude-SearchBot`	Anthropic	Recherche	Respecté	Contenu non indexé, visibilité réduite selon Anthropic
`Claude-User`	Anthropic	À la demande	Respecté	Claude ne lit plus vos pages pour répondre
`ClaudeBot`	Anthropic	Entraînement	Respecté	Contenus futurs exclus de l'entraînement
`PerplexityBot`	Perplexity	Recherche, sans entraînement	Respecté	Le site n'apparaît plus dans les résultats de Perplexity
`Perplexity-User`	Perplexity	À la demande	« Ignoré en général »	Non documenté
`Googlebot`	Google	Moteur, AI Overviews et AI Mode compris	Respecté	Page absente de Google, et donc de ses réponses IA
`Google-Extended`	Google	Jeton : entraînement de Gemini et ancrage de ses réponses	Respecté (pas de robot distinct)	Contenu exclu de l'entraînement et de l'ancrage dans Gemini
`Storebot-Google`	Google	Google Shopping	Respecté	Touche toutes les surfaces de Google Shopping
`Bingbot`	Microsoft	Moteur Bing	Respecté	Page absente de Bing
`Applebot`	Apple	Moteur : Spotlight, Siri, Safari	Respecté ; suit Googlebot s'il n'est pas nommé	Page absente des recherches d'Apple
`Applebot-Extended`	Apple	Jeton : refus de l'entraînement	Respecté (ne parcourt aucune page)	Contenu exclu de l'entraînement, toujours présent dans la recherche
`meta-webindexer`	Meta	Recherche de Meta AI	Respecté	Contenu non cité dans les réponses de Meta AI
`meta-externalagent`	Meta	Entraînement et indexation	Respecté	Contenu exclu de ces usages
`meta-externalfetcher`	Meta	À la demande	« Peut contourner »	Non documenté
`Amzn-SearchBot`	Amazon	Recherche (Alexa), sans entraînement	Respecté	Contenu non éligible aux recherches d'Alexa
`Amazonbot`	Amazon	Produits Amazon et entraînement	Respecté	Contenu exclu de ces usages
`Amzn-User`	Amazon	À la demande	« Peut ne pas suivre toutes les directives »	Non documenté
`MistralAI-Index`	Mistral	Recherche, sans entraînement	Non documenté	Non documenté
`MistralAI-User`	Mistral	À la demande	Régit les sites visités	Mistral ne lit plus vos pages à la demande
`MistralAI-Training`	Mistral	Entraînement	Respecté	Contenu exclu de l'entraînement
`DuckAssistBot`	DuckDuckGo	Réponses IA, sans entraînement	Respecté, effet sous 72 heures	Contenu absent des réponses IA de DuckDuckGo

Deux cas méritent une ligne de plus.

Google n'a pas de robot IA à part pour sa recherche. Ses AI Overviews et son AI Mode lisent l'index de Googlebot : selon Google, les règles de robots.txt pour Googlebot sont le contrôle, et nosnippet, max-snippet ou noindex limitent ce qui est repris.

Google-Extended n'est pas un simple refus d'entraînement. Selon Google, ce jeton règle aussi l'ancrage (grounding) des réponses de l'app Gemini sur l'index de Google Search. Le bloquer ne change rien à Google Search, mais peut éloigner vos pages des réponses de Gemini.

Ce qu'un blocage coûte à une boutique

Une boutique vit de questions d'achat : « quelle crème solaire pour peau sensible », « quel vélo pour aller au travail ». Pour y répondre avec des prix et des stocks à jour, l'assistant s'appuie sur ce qu'il lit sur le web.

Un robot de recherche bloqué : vos fiches produit ne peuvent plus être citées par cet assistant. C'est le blocage le plus coûteux, et souvent un accident : une règle User-agent: * trop large, une app, un réglage d'hébergeur.
Un robot à la demande bloqué : quand un client colle le lien d'un de vos produits pour poser une question, l'assistant ne peut pas le lire.
Un robot d'entraînement bloqué : vos pages restent citables. C'est un choix qui vous appartient, avec l'exception de Google-Extended vue plus haut.

Ce que nous recommandons à une boutique

Autorisez tous les robots de recherche et à la demande de la liste. Ils décident si vos produits peuvent apparaître dans les réponses.
Décidez pour l'entraînement, en connaissance de cause. Bloquer GPTBot ou ClaudeBot ne vous retire pas des réponses de ChatGPT ou de Claude. Si Gemini compte pour vous, laissez Google-Extended autorisé.
Gardez fermées les pages privées pour tous les robots : panier, compte, paiement, recherche interne.
Recopiez ces pages privées dans chaque groupe nommé. Selon la norme robots.txt (RFC 9309), un robot qui a son propre groupe User-agent ignore le groupe *. Un groupe User-agent: OAI-SearchBot qui ne contient que Allow: / lui ouvre aussi votre panier.
Vérifiez après chaque changement de thème, d'app ou d'hébergeur, et répondez bien en 200 sur /robots.txt. Selon la même norme, un fichier en erreur serveur (5xx) vaut interdiction totale ; un fichier absent (404) vaut autorisation totale.

Le piège des pare-feux

robots.txt n'est pas le seul filtre. Un pare-feu ou un CDN peut refuser un robot avant même qu'il ne lise votre fichier, et rien n'apparaît alors dans robots.txt. Google le rappelle : l'exploration doit être autorisée dans robots.txt « et par toute infrastructure de CDN ou d'hébergement ».

Cloudflare est le cas le plus fréquent :

le 1er juillet 2025, Cloudflare a annoncé bloquer par défaut les robots IA sur les nouveaux domaines ;
le 1er juillet 2026, il a séparé ces robots en trois catégories, recherche, agent et entraînement. Depuis le 15 septembre 2026, sur les nouveaux domaines, les catégories agent et entraînement sont bloquées par défaut sur les pages qui affichent de la publicité, et la recherche reste autorisée. Un robot qui fait à la fois recherche et entraînement suit la règle la plus restrictive.

Si votre boutique passe par Cloudflare, ouvrez ses réglages de sécurité et vérifiez ce qui est appliqué aux robots IA, en plus de votre robots.txt.

Content-Signal : dire l'usage, pas seulement l'accès

Content-Signal est une ligne de robots.txt proposée par Cloudflare en septembre 2025 (contentsignals.org). Elle exprime ce que vous acceptez qu'on fasse de vos pages, avec trois valeurs yes ou no :

search : construire un index de recherche et afficher des liens avec de courts extraits ;
ai-input : donner le contenu à un modèle au moment de répondre (ancrage, réponses de recherche générées) ;
ai-train : entraîner ou affiner un modèle.

Par exemple : Content-Signal: search=yes, ai-train=no. Cloudflare l'ajoute sous cette forme aux robots.txt qu'il gère. Ce sont des préférences, pas une barrière technique, comme Cloudflare l'écrit lui-même. Pour une boutique, ai-input=no va contre l'objectif : il demande aux assistants de ne pas utiliser vos pages pour répondre.

Modifier robots.txt

Sur Shopify

Shopify génère un robots.txt par défaut. Pour le modifier, créez le modèle robots.txt.liquid dans le dossier Templates du thème, depuis l'éditeur de code. Ce modèle remplace le fichier généré. Shopify recommande de passer par ses objets Liquid plutôt que d'écrire le fichier en texte brut, et d'enregistrer le robots.txt actuel avant publication pour comparer les deux.

Sur WooCommerce et WordPress

WordPress sert un robots.txt virtuel tant qu'aucun fichier n'existe à la racine du site. Trois façons de le modifier :

avec Yoast SEO : Yoast SEO, puis Outils, puis Éditeur de fichiers ;
avec Rank Math : Rank Math SEO, puis Réglages généraux, puis Modifier robots.txt ;
avec un fichier robots.txt physique déposé à la racine : il remplace le fichier virtuel, et c'est alors lui qu'il faut modifier.

Les délais

Un changement n'est pas lu tout de suite. OpenAI annonce environ 24 heures, Meta jusqu'à 24 heures, DuckDuckGo 72 heures.

Vérifier votre fichier

Notre vérificateur robots.txt IA lit votre fichier comme le font ces robots, robot par robot, et propose le groupe à ajouter quand un robot de recherche est bloqué. Il est gratuit et sans compte.

Dans skoup, ce contrôle fait partie de l'audit technique de chaque marque. Un robot de recherche bloqué y est une erreur, un robot d'entraînement ou à la demande bloqué un avertissement. L'audit lit aussi Content-Signal et vérifie que vos fiches produit sont lisibles sans JavaScript. Un robots.txt ouvert reste un prérequis : savoir si vos produits sont réellement cités demande de lire les réponses, ce que décrit le guide Suivre ses produits dans ChatGPT.

Sources

Pages lues le 9 octobre 2026 : OpenAI, Anthropic, Perplexity, Google, robots, Google, fonctionnalités IA, Apple, Meta, Amazon, Mistral, DuckDuckGo, Cloudflare 2025, Cloudflare 2026, Cloudflare, Content Signals, Shopify, Yoast, Rank Math, RFC 9309.