Draftcamp

Generador de robots.txt

Crea un robots.txt que trate a los rastreadores de entrenamiento, recuperación y usuarios de IA como decisiones separadas

Funciona completamente en tu navegador: tu texto nunca se sube

Motores de búsqueda

Una ruta por línea

Ignorado por Google

Rastreadores AI

Tres decisiones separadas, no una. Bloqueo desactivado por defecto.

Retrieval (citation-eligible)

Estos generan citas. Bloquearlos te elimina de las respuestas de IA por completo, casi siempre un error.

User-triggered fetch

Estos recuperan tu página cuando alguien pega el enlace en un chat. Bloquearlos rompe eso, y nada más.

Model training

Estos recopilan datos para entrenar futuros modelos. Bloquearlos no afecta si te citan hoy. Una decisión empresarial válida en ambos casos.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Sube el archivo a la raíz de tu dominio, exactamente en /robots.txt. Cada subdominio necesita el suyo propio.

Bloquear rastreadores AI implica tres decisiones, no una

Casi todos los generadores de robots.txt ofrecen una única casilla para "bloquear bots AI". Esa casilla mezcla tres resultados distintos, y lo más común es que un sitio que quería excluirse del entrenamiento de modelos termine eliminado accidentalmente de las búsquedas AI.

Rastreadores de recuperación: bloquearlos te cuesta citas

OAI-SearchBot, Claude-SearchBot y PerplexityBot son las que importan aquí. Estas páginas se consultan para responder a una pregunta que alguien está haciendo ahora mismo, y son las que generan el enlace de cita bajo una respuesta de IA. Si las bloqueas, no aparecerás en la respuesta. Para casi cualquier negocio, esto es un error común.

Rastreadores activados por usuarios: un coste específico y limitado

Usuario ChatGPT, Usuario Claude. Obtienen tu página cuando alguien pega tu enlace en un chat y pregunta por ella. Bloquearlos interrumpe ese flujo y nada más. Tiene sentido bloquearlos si tus páginas están restringidas; si no, es inútil.

Rastreadores de entrenamiento: una decisión empresarial legítima

GPTBot, ClaudeBot, CCBot, Google-Extended. Recopilan corpus para entrenar modelos futuros. Bloquearlos tiene ningún efecto sobre si te citan hoy. Muchos editores bloquean esto deliberadamente, y es una elección defendible, no un defecto, por eso ninguna herramienta debería marcarlo como tal.

El que no es un crawler

Google-Extended nunca recupera nada. Es un token de exclusión que controla si el contenido que Googlebot ya tiene puede entrenar a Gemini. Bloquearlo no afecta para nada la indexación o el posicionamiento en Google Search. Applebot-Extended es la misma idea para Apple.

Una vez el archivo esté activo, confirma qué permite realmente con el resto de las herramientas gratuitas también.

Preguntas frecuentes

¿Debería bloquear los rastreadores de IA?
Depende totalmente del tipo, y agruparlos causa que la gente se excluya accidentalmente de la búsqueda IA. Bloquear bots de recuperación como OAI-SearchBot, Claude-SearchBot y PerplexityBot significa que no pueden citarte en respuestas IA. Bloquear bots de entrenamiento como GPTBot y CCBot no afecta a la citación, solo impide el entrenamiento futuro. La mayoría que dice "bloquear IA" se refiere al segundo y sin querer hace el primero.
¿Cuál es la diferencia entre Google-Extended y Googlebot?
Google-Extended no es un rastreador. Es un token para optar por no participar que controla si el contenido que Googlebot ya obtuvo puede usarse para el entrenamiento de Gemini. Bloquearlo no afecta tu indexación ni ranking en Google Search. Applebot-Extended funciona igual para Apple.
¿Impide robots.txt que una página se indexe?
No, y este es el error más común con robots.txt. Disallow detiene el rastreo, no la indexación. Una página bloqueada en robots.txt puede aparecer en resultados, generalmente sin descripción, si otras páginas la enlazan. Para excluir algo del índice necesitas una meta etiqueta noindex, y eso requiere que la página sea rastreable para leer la etiqueta.
¿Dónde se coloca el archivo?
En la raíz del dominio, exactamente: https://example.com/robots.txt. Se aplica por protocolo, host y puerto, así que cada subdominio necesita el suyo. Los rastreadores no buscan en otro lugar ni lo encontrarán en un subdirectorio.
¿Funciona Crawl-delay?
No para Google, que lo ignora por completo; usa la configuración de tasa de rastreo en Search Console. Bing y Yandex sí lo respetan. Está para ellos, pero en la mayoría de sitios debe dejarse vacío.