Cómo bloquear o permitir los rastreadores de IA en tu web con robots.txt

Para que las empresas de IA no usen tu web para entrenar sus modelos, añade al robots.txt un bloque User-agent con Disallow: / para cada uno de sus rastreadores: GPTBot (OpenAI), Google-Extended (Google), ClaudeBot (Anthropic), Applebot-Extended (Apple), CCBot (Common Crawl) y los demás que tengan documentación oficial. Eso no te quita de los resultados de Google. Pero ten claro desde el principio que robots.txt es una petición y no un candado: lo respetan quienes dicen respetarlo, y algunos agentes que actúan a petición de un usuario pueden saltárselo.

Qué es robots.txt y dónde está

Es un fichero de texto que va en la raíz de tu dominio, en https://tudominio.com/robots.txt, y que indica a cada rastreador qué partes de la web puede visitar. Su funcionamiento está recogido en el estándar RFC 9309, que deja una frase que conviene recordar: estas reglas no son una forma de autorización de acceso. Son instrucciones que el rastreador decide cumplir.

Cada subdominio necesita el suyo. Si tienes tienda.tudominio.com, lo que pongas en el robots.txt del dominio principal no le afecta.

Los rastreadores de IA con documentación oficial

Hay muchas listas por internet con decenas de nombres. Yo me quedo con los que cada empresa documenta en su propia web, porque son los únicos de los que sabes qué hacen y qué pasa si los bloqueas. A fecha de octubre de 2026 son estos:

Empresa	Agente	Para qué lo usan	¿Respeta robots.txt?
OpenAI	GPTBot	Contenido que puede usarse para entrenar sus modelos	Sí
OpenAI	OAI-SearchBot	Mostrar webs en las búsquedas de ChatGPT	Sí
OpenAI	ChatGPT-User	Visitas que hace ChatGPT cuando un usuario se lo pide	Puede que no
Google	Google-Extended	Entrenar futuros modelos Gemini y dar contexto a sus respuestas	Sí
Anthropic	ClaudeBot	Contenido que puede usarse para entrenar sus modelos	Sí
Anthropic	Claude-SearchBot	Mejorar los resultados de búsqueda de Claude	Sí
Anthropic	Claude-User	Visitas que hace Claude cuando un usuario se lo pide	Sí
Apple	Applebot-Extended	Entrenar sus modelos de IA generativa	Sí
Common Crawl	CCBot	Un archivo abierto de la web que puede descargar cualquiera	Sí
Perplexity	PerplexityBot	Mostrar webs en sus resultados (dicen que no entrena)	Sí
Perplexity	Perplexity-User	Visitas a petición de un usuario	Por lo general, no
Meta	Meta-ExternalAgent	Entrenar modelos de IA o indexar contenido	Sí
Meta	Meta-ExternalFetcher	Visitas a petición de un usuario	Puede que no
Amazon	Amazonbot	Mejorar sus servicios, y puede usarse para entrenar sus modelos	Sí

Las fuentes son la página de rastreadores de OpenAI, la de rastreadores comunes de Google, la ayuda de Anthropic, la de Applebot, la de CCBot, la de Perplexity, la de Meta y la de Amazonbot. Las empresas añaden agentes y cambian descripciones con frecuencia, así que conviene repasarlas de vez en cuando.

Tres matices que no se ven en la tabla. Bloquear OAI-SearchBot hace que tu web no salga en las respuestas de búsqueda de ChatGPT, aunque OpenAI dice que puede seguir apareciendo como enlace de navegación, y tarda unas 24 horas en aplicar el cambio. Bloquear Applebot-Extended no impide que Applebot siga rastreando para Siri, Spotlight y Safari. Y Google-Extended, según Google, no afecta a tu posición ni a tu presencia en la Búsqueda.

Ejemplos de robots.txt

Lo que yo pondría en la mayoría de webs: no al entrenamiento, sí a que te encuentren los buscadores con IA. Un grupo puede llevar varias líneas User-agent seguidas, y todas comparten las reglas que vienen debajo:

User-agent: GPTBot
User-agent: Google-Extended
User-agent: ClaudeBot
User-agent: Applebot-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Amazonbot
Disallow: /

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://tudominio.com/sitemap.xml

El grupo de User-agent: * es el que WordPress pone por defecto, y la línea Sitemap la cambias por la dirección real de tu sitemap.

Si prefieres cerrar también la puerta a los buscadores de las IA, añade al primer grupo estas líneas:

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot

Y si solo quieres proteger una parte, por ejemplo tus artículos de pago, en vez de Disallow: / pones la carpeta:

User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /premium/

Hay un detalle del estándar que pilla a mucha gente. Un rastreador que encuentra un grupo con su nombre obedece ese grupo y se olvida del de User-agent: *. Si en el general bloqueas /privado/ y en el de GPTBot solo pones Disallow: /premium/, GPTBot podrá entrar en /privado/. Repite en cada grupo las reglas que quieras que se cumplan siempre.

Lo que robots.txt no controla

No es un sistema de seguridad. Un rastreador que no quiera cumplirlo, o que se haga pasar por otro, entra igual. Common Crawl avisa en su página de que hay rastreadores que se identifican falsamente como CCBot, y recomienda comprobar la dirección IP con DNS inverso. Para bloquear de verdad hace falta una regla en el servidor o en el cortafuegos, aunque Anthropic advierte de que bloquear sus IP puede impedir que lea tu robots.txt y que tu preferencia no se aplique bien.

Tampoco frena a los agentes que visitan una página porque un usuario lo ha pedido. OpenAI dice de ChatGPT-User que las reglas de robots.txt pueden no aplicarse, Perplexity reconoce que Perplexity-User por lo general las ignora, y Meta y Amazon dicen algo parecido de los suyos.

No borra lo que ya se llevaron. Anthropic, por ejemplo, habla de excluir los materiales futuros de tu web.

Y no te saca de los resúmenes con IA de Google. Esas funciones dependen del rastreo normal de Googlebot, y si bloqueas Googlebot desapareces de la Búsqueda. Google indica en su página sobre funciones de IA en la Búsqueda que, para limitar lo que se muestra de tus páginas, uses las etiquetas nosnippet, data-nosnippet, max-snippet o noindex, con el coste que eso tiene en tus resultados normales.

Dónde se edita en WordPress

WordPress sirve un robots.txt virtual aunque no haya ningún fichero en el servidor. Para saber cuál tienes ahora, abre tudominio.com/robots.txt en el navegador. A partir de ahí hay tres caminos:

• Con Yoast SEO: Yoast SEO, Herramientas, Editor de archivos, y ahí lo creas o lo editas. Según su ayuda, ese menú no aparece si tu WordPress tiene desactivada la edición de archivos.
• Con Rank Math: Rank Math SEO, activas el Modo avanzado, Ajustes generales y Editar robots.txt. Su documentación avisa de que, si hay un robots.txt físico en la raíz, tienes que borrarlo antes por FTP.
• Sin plugin: subes por FTP o desde el gestor de archivos de tu hosting un fichero robots.txt a la carpeta raíz de la web, la misma donde ves las carpetas wp-admin y wp-content.

Si no tienes claro cuál es tu sitemap, aquí explico cómo generar un sitemap y enviarlo a Google y Bing.

Mi consejo, para una web normal: bloquea los rastreadores de entrenamiento, deja pasar a los de búsqueda y no toques Googlebot. Si en algún momento decides lo contrario, es cambiar cuatro líneas. Y si te pica la curiosidad por ver qué hacen esos asistentes con lo que encuentran en la web, aquí tienes qué ofrece gratis cada asistente de IA.