# Qué rastreadores de IA importan, y cuáles solo se llevan tu contenido

> Las grandes empresas de IA usan ya bots distintos para entrenar, para buscar y para responder a un usuario en el momento. Bloquear el equivocado puede hacerte invisible. Esto es lo que hace cada uno, y la trampa de Google en la que caen casi todas las webs.

**Côme Chevalier**, Product Manager, CrawlerPal · 22 de septiembre de 2026 · GEO técnico

Canonical: https://crawlerpal.com/blog/es/which-ai-crawlers-matter

---

Más tráfico de bots no es más visibilidad. Las empresas de IA usan ya varios rastreadores cada una, con funciones distintas, y el que bloquees decide si estás protegiendo tu contenido o sacándote sin darte cuenta de las respuestas de la IA.

## Tres funciones, no un solo bot

En los grandes proveedores el patrón es el mismo. Cada uno usa bots separados para fines separados, y cada uno se puede controlar por separado en robots.txt.

| Función | Qué hace | Lo que te cuesta bloquearlo |
| --- | --- | --- |
| Entrenamiento | Recoge contenido para entrenar modelos futuros | Tu contenido deja de alimentar modelos futuros. Las respuestas de hoy no cambian |
| Indexación para búsqueda | Construye el índice que consulta un motor al responder | Desapareces de las respuestas de búsqueda de ese motor |
| Descarga a petición | Visita una página porque una persona acaba de hacer una pregunta | El motor no puede leer tu página para esa respuesta |

## Quién usa qué

Estos son los nombres que documenta cada proveedor.

| Proveedor | Entrenamiento | Indexación | Descarga a petición |
| --- | --- | --- | --- |
| OpenAI | GPTBot | OAI-SearchBot | ChatGPT-User |
| Anthropic | ClaudeBot | Claude-SearchBot | Claude-User |
| Perplexity | Ninguno documentado | PerplexityBot | Perplexity-User |

Hay un detalle importante en Perplexity. Su documentación dice que Perplexity-User suele ignorar robots.txt, porque cada descarga está ligada a la petición de una persona. PerplexityBot, el rastreador de indexación, sí lo respeta.

## La trampa de Google

Google funciona de otra manera, y aquí es donde se equivocan muchas webs.

Google-Extended no es un rastreador. Es un token que se usa en robots.txt para indicar si Google puede usar tu contenido para entrenar sus modelos Gemini. Nunca aparece en tus registros, porque el rastreo lo siguen haciendo los user agents habituales de Google.

Bloquear Google-Extended no te saca de los AI Overviews. Estos se basan en el índice de búsqueda normal de Google. Mantener páginas fuera de ellos ha consistido hasta ahora en restringir los fragmentos, lo que también afecta a tus resultados de búsqueda normales, así que revisa la documentación actual de Google antes de cambiar nada, porque estos controles están cambiando.

Así que una web que bloquea Google-Extended pensando que ha salido de la búsqueda con IA sigue en los AI Overviews. Lo único que ha hecho es dejar de contribuir al entrenamiento de Gemini.

## Lo que yo haría

Decide sobre el entrenamiento por separado de la visibilidad. Bloquear los bots de entrenamiento es una decisión legítima sobre tu contenido, y no te cuesta nada en las respuestas de hoy.

Deja abiertos los bots de búsqueda y de descarga a petición si quieres que te encuentren. Bloquearlos es la forma en que una web se saca sin darse cuenta de los motores que usan sus compradores.

Después repasa tu robots.txt con la tabla de arriba. Una regla escrita hace años por otro motivo, o un bloqueo general de todo lo que parezca un bot, es una forma habitual de volverse invisible sin querer.

## Preguntas frecuentes

### ¿Debería bloquear los rastreadores de IA?

Depende de cuáles. Bloquear los bots de entrenamiento como GPTBot o ClaudeBot impide que tu contenido alimente modelos futuros sin afectar a las respuestas de hoy. Bloquear los bots de búsqueda y de descarga a petición como OAI-SearchBot o Claude-User te saca de las respuestas de esos motores.

### ¿Bloquear Google-Extended me saca de los AI Overviews?

No. Google-Extended es un token de robots.txt que controla si tu contenido se usa para entrenar los modelos Gemini. Los AI Overviews se basan en el índice de búsqueda normal de Google, así que bloquear Google-Extended te deja dentro.

### ¿Por qué mi web recibe mucho tráfico de bots de IA pero ninguna cita?

Buena parte seguramente son rastreadores de entrenamiento, que recogen contenido para modelos futuros en lugar de responder preguntas hoy. Mucha actividad de rastreo y aparecer citado en respuestas son cosas distintas, así que un pico de tráfico por sí solo dice poco de la visibilidad.

### ¿Todos los rastreadores de IA respetan robots.txt?

La mayoría de los documentados, sí. Una excepción notable es Perplexity-User, que según Perplexity suele ignorar robots.txt porque cada descarga está ligada a la petición de una persona. Su rastreador de indexación, PerplexityBot, sí lo respeta.

---

CrawlerPal · https://crawlerpal.com