Tre decisioni, non un solo interruttore
La maggior parte dei consigli su robots.txt per l’AI tratta ogni bot allo stesso modo. Non è così, e questa differenza decide se comparirai o meno nelle risposte AI.
Recupero - bloccare ti costa citazioni
OAI-SearchBot, Claude-SearchBot, PerplexityBot recupera pagine per rispondere a domande in tempo reale e crea il link di citazione sotto la risposta. Bloccarle ti esclude dalla ricerca AI. Per quasi tutte le aziende è un errore, spesso fatto per sbaglio mentre si tenta altro.
Attivato dall’utente - un costo limitato
Utente ChatGPT e Utente Claude recupera la tua pagina quando qualcuno incolla il link in una chat. Bloccarlo interrompe solo questo, niente altro.
Training - una vera decisione aziendale
GPTBot, ClaudeBot, CCBot, Google-Extended raccoglie corpora per modelli futuri. Bloccarli ha nessun effetto sulle citazioni attuali. Molti editori li bloccano intenzionalmente. È una scelta, non un difetto, e noi non la giudichiamo né positiva né negativa.
Quello che non è un crawler
Google-Extended non recupera mai nulla. Decide se i contenuti già acquisiti da Googlebot possono addestrare Gemini, e bloccarlo non influisce su Google Search. Alcuni lo bloccano temendo un calo di ranking impossibile, altri lo evitano per paura di rinunciare a un addestramento desiderato.
Per capire se la pagina vale la pena di essere citata una volta che i crawler entrano, esegui il Controllo visibilità AI. Per scrivere le regole iniziali, usa il generatore robots.txt invece.