Trei decizii, nu un singur comutator
Majoritatea sfaturilor despre robots.txt pentru AI tratează toți boții la fel. Nu este așa, iar diferența decide dacă apari sau nu în răspunsurile AI.
Recuperare - blocarea îți costă citări
OAI-SearchBot, Claude-SearchBot, PerplexityBot preiau pagini pentru a răspunde unei întrebări live și generează linkul de citare sub răspuns. Blocarea lor te scoate din căutarea AI. Pentru aproape orice afacere este o greșeală, de obicei făcută din greșeală în timp ce încerci altceva.
Declanșat de utilizator - un cost redus
Utilizator ChatGPT și Utilizator Claude preiau pagina ta când cineva lipește linkul într-un chat. Blocarea oprește asta și nimic altceva.
Antrenamentul - o decizie reală de business
GPTBot, ClaudeBot, CCBot, Google-Extended colectează corpusuri pentru modele viitoare. Blocarea lor are fără efect asupra citării de azi. Mulți editori le blochează intenționat. Este o alegere, nu un defect, și noi nu o considerăm nici bună, nici rea.
Cel care nu este un crawler
Google-Extended nu preia nimic niciodată. Controlează dacă conținutul pe care Googlebot îl are deja poate antrena Gemini, iar blocarea nu afectează Google Search. Echipele îl blochează temându-se de o scădere a clasamentului care nu poate apărea sau îl evită temându-se că renunță la antrenament, de fapt dorit.
Ca să vezi dacă pagina merită citată după ce crawler-ele intră, folosește Verificatorul de vizibilitate AI. Pentru a scrie regulile inițial, folosește generator robots.txt în schimb.