Tres decisiones, no un solo interruptor
La mayoría de consejos sobre robots.txt para IA tratan a todos los bots igual. No es así, y esa diferencia decide si apareces o no en respuestas de IA.
Recuperación: bloquear te cuesta citas
OAI-SearchBot, Claude-SearchBot, PerplexityBot recuperar páginas para responder una pregunta en vivo y generar el enlace de cita bajo la respuesta. Bloquear esto te excluye de la búsqueda AI. Para casi cualquier negocio es un error, y suele hacerse por accidente al intentar otra cosa.
Activado por usuario: un coste limitado
Usuario ChatGPT y Usuario Claude recuperar tu página cuando alguien pega el enlace en un chat. Bloquearlo rompe eso y nada más.
Entrenamiento: una decisión empresarial real
GPTBot, ClaudeBot, CCBot, Google-Extended recopilar corpus para futuros modelos. Bloquearlos tiene ningún efecto en la citación actual. Muchos editores los bloquean deliberadamente. Es una elección, no un defecto, y no lo calificamos ni como bueno ni como malo.
El que no es un crawler
Google-Extended nunca recupera nada. Regula si el contenido que Googlebot ya tiene puede entrenar a Gemini, y bloquearlo no afecta la búsqueda de Google. Los equipos lo bloquean por miedo a perder posicionamiento, lo cual no ocurre, o lo evitan por temor a excluirse de un entrenamiento que en realidad querían.
Para saber si la página vale la pena citarla cuando los crawlers acceden, ejecuta el Comprobador de visibilidad AI. Para crear las reglas desde el principio, usa el generador de robots.txt en su lugar.