# Quels robots d'IA comptent, et lesquels se contentent de prendre votre contenu

> Les grands acteurs de l'IA utilisent désormais des robots distincts pour l'entraînement, pour la recherche et pour répondre à un utilisateur sur le moment. Bloquer le mauvais peut vous rendre invisible. Voici lequel fait quoi, et le piège Google dans lequel tombent la plupart des sites.

**Côme Chevalier**, Product Manager, CrawlerPal · 22 septembre 2026 · GEO technique

Canonical: https://crawlerpal.com/blog/fr/which-ai-crawlers-matter

---

Plus de trafic de robots ne veut pas dire plus de visibilité. Les acteurs de l’IA utilisent désormais plusieurs robots chacun, pour des tâches différentes, et celui que vous bloquez décide si vous protégez votre contenu ou si vous vous retirez discrètement des réponses de l’IA.

## Trois tâches, pas un seul robot

Chez les grands acteurs, le schéma est le même. Chacun fait tourner des robots distincts pour des usages distincts, et chacun peut être réglé séparément dans robots.txt.

| Tâche | Ce qu’il fait | Ce que vous coûte son blocage |
| --- | --- | --- |
| Entraînement | Collecte du contenu pour entraîner les futurs modèles | Votre contenu n’alimente plus les futurs modèles. Les réponses d’aujourd’hui ne changent pas |
| Indexation pour la recherche | Construit l’index qu’un moteur consulte pour répondre | Vous disparaissez des réponses de recherche de ce moteur |
| Récupération à la demande | Visite une page parce qu’une personne vient de poser une question | Le moteur ne peut pas lire votre page pour cette réponse |

## Qui fait tourner quoi

Voici les noms que documente chaque acteur.

| Acteur | Entraînement | Indexation | Récupération à la demande |
| --- | --- | --- | --- |
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | Aucun documenté | PerplexityBot | Perplexity-User |

Un détail compte pour Perplexity. Sa documentation indique que Perplexity-User ignore généralement robots.txt, car chaque récupération est liée à la demande d’une personne. PerplexityBot, le robot d’indexation, le respecte bien.

## Le piège Google

Google fonctionne autrement, et c’est là que beaucoup de sites se trompent.

Google-Extended n’est pas un robot. C’est un jeton que l’on utilise dans robots.txt pour indiquer si Google peut se servir de votre contenu pour entraîner ses modèles Gemini. Il n’apparaît jamais dans vos journaux, car l’exploration reste faite par les user agents habituels de Google.

Bloquer Google-Extended ne vous retire pas des AI Overviews. Ceux-ci reposent sur l’index de recherche habituel de Google. Pour en tenir des pages à l’écart, il fallait jusqu’ici restreindre les extraits, ce qui touche aussi vos résultats de recherche classiques. Consultez donc la documentation actuelle de Google avant de modifier quoi que ce soit, car ces réglages évoluent.

Un site qui bloque Google-Extended en pensant avoir quitté la recherche IA reste donc dans les AI Overviews. Il a seulement cessé de contribuer à l’entraînement de Gemini.

## Ce que je ferais

Décidez de l’entraînement séparément de la visibilité. Bloquer les robots d’entraînement est un choix légitime concernant votre contenu, et il ne vous coûte rien dans les réponses d’aujourd’hui.

Laissez ouverts les robots de recherche et de récupération à la demande si vous voulez être trouvé. Les bloquer, c’est la façon dont un site se retire discrètement des moteurs qu’utilisent ses acheteurs.

Relisez ensuite votre robots.txt à la lumière du tableau ci-dessus. Une règle écrite il y a des années pour une autre raison, ou un blocage général de tout ce qui ressemble à un robot, est une façon courante de devenir invisible sans le vouloir.

## Questions fréquentes

### Faut-il bloquer les robots d'IA ?

Cela dépend lesquels. Bloquer les robots d'entraînement comme GPTBot ou ClaudeBot empêche votre contenu d'alimenter les futurs modèles sans affecter les réponses d'aujourd'hui. Bloquer les robots de recherche et de récupération à la demande comme OAI-SearchBot ou Claude-User vous retire des réponses de ces moteurs.

### Bloquer Google-Extended me retire-t-il des AI Overviews ?

Non. Google-Extended est un jeton robots.txt qui indique si votre contenu peut servir à entraîner les modèles Gemini. Les AI Overviews reposent sur l'index de recherche habituel de Google, donc bloquer Google-Extended vous y laisse.

### Pourquoi mon site reçoit-il beaucoup de trafic de robots IA mais aucune citation ?

Une grande partie vient probablement de robots d'entraînement, qui collectent du contenu pour les futurs modèles plutôt que de répondre à des questions aujourd'hui. Une forte activité de crawl et le fait d'être cité dans des réponses sont deux choses différentes, donc un pic de trafic seul en dit peu sur la visibilité.

### Tous les robots d'IA respectent-ils robots.txt ?

La plupart des robots documentés, oui. Une exception notable est Perplexity-User, dont Perplexity dit qu'il ignore généralement robots.txt parce que chaque récupération est liée à la demande d'une personne. Son robot d'indexation, PerplexityBot, le respecte bien.

---

CrawlerPal · https://crawlerpal.com