Draftcamp

Generator de robots.txt

Creează un robots.txt care tratează crawler-ele AI pentru antrenare, căutare și preluare utilizator ca decizii separate

Funcționează complet în browserul tău - textul tău nu este încărcat nicăieri

Motoarele de căutare

O cale pe linie

Ignorat de Google

Crawler-ele AI

Trei decizii separate, nu una singură. Blocarea este dezactivată implicit.

Retrieval (citation-eligible)

Acestea generează citări. Blocarea lor te scoate complet din răspunsurile AI - aproape întotdeauna o greșeală.

User-triggered fetch

Acestea aduc pagina ta când cineva lipește linkul într-un chat. Blocarea lor strică asta, nimic altceva.

Model training

Acestea colectează date pentru antrenarea modelelor viitoare. Blocarea lor nu afectează dacă ești citat azi. O decizie legitimă de business în ambele cazuri.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Încarcă în rădăcina domeniului tău, exact la /robots.txt. Fiecare subdomeniu are nevoie de propriul fișier.

Blocarea crawlerelor AI implică trei decizii, nu una singură

Aproape fiecare generator de robots.txt oferă o singură casetă „blochează boții AI”. Aceasta combină trei rezultate complet diferite, iar cel mai frecvent rezultat este un site care a vrut să opteze din antrenamentul modelelor și s-a șters accidental din căutarea AI.

Crawler-ele de recuperare - blocarea lor îți costă citări

OAI-SearchBot, Claude-SearchBot și PerplexityBot sunt cele care contează aici. Acestea preiau pagini pentru a răspunde unei întrebări puse chiar acum și generează linkul de citare sub un răspuns AI. Dacă le blochezi, nu vei apărea în răspuns. Pentru aproape orice afacere, aceasta este o greșeală simplă.

Crawler-ele declanșate de utilizator - un cost specific și limitat

Utilizator ChatGPT, Utilizator Claude. Acestea preiau pagina ta când cineva lipește linkul într-un chat și întreabă despre ea. Blocarea lor întrerupe acest flux și nimic altceva. E rezonabil să le blochezi dacă paginile tale sunt protejate; altfel, e inutil.

Crawler-ele de antrenament - o decizie legitimă de business

GPTBot, ClaudeBot, CCBot, Google-Extended. Acestea colectează corpuri de date pentru antrenarea modelelor viitoare. Blocarea lor are fără efect dacă ești citat azi. Mulți editori le blochează intenționat, iar asta e o alegere justificabilă - nu un defect, motiv pentru care nicio unealtă nu ar trebui să o marcheze ca atare.

Cel care nu este un crawler

Google-Extended nu preia nimic niciodată. Este un token de renunțare care controlează dacă conținutul pe care Googlebot îl are deja poate antrena Gemini. Blocarea lui nu afectează deloc indexarea sau clasamentul Google Search. Applebot-Extended este aceeași idee pentru Apple.

Odată ce fișierul este activ, confirmă ce permite cu adevărat cu restul uneltelor gratuite de asemenea.

Întrebări frecvente

Ar trebui să blochez crawlerele AI?
Depinde complet de tip, iar amestecarea lor duce la excluderea accidentală din căutările AI. Blocarea bot-ilor de recuperare ca OAI-SearchBot, Claude-SearchBot și PerplexityBot înseamnă că nu poți fi citat în răspunsurile AI. Blocarea bot-ilor de antrenament ca GPTBot și CCBot nu afectează citarea, ci doar antrenarea viitoare a modelelor. Majoritatea celor care spun „blochează AI” se referă la al doilea și din greșeală fac primul.
Care e diferența dintre Google-Extended și Googlebot?
Google-Extended nu e crawler. E un token de opt-out care controlează dacă conținutul preluat deja de Googlebot poate fi folosit pentru antrenarea Gemini. Blocarea lui nu afectează indexarea sau clasamentul în Google Search. Applebot-Extended funcționează similar pentru Apple.
Oprește robots.txt indexarea unei pagini?
Nu, și aceasta e cea mai frecventă greșeală în robots.txt. Disallow oprește crawling-ul, nu indexarea. O pagină blocată în robots.txt poate apărea în rezultate - de obicei fără descriere - dacă alte pagini fac link către ea. Pentru a o exclude din index ai nevoie de meta tag noindex, iar pagina trebuie să poată fi parcursă ca tag-ul să fie citit.
Unde se pune fișierul?
Exact la rădăcina domeniului: https://example.com/robots.txt. Se aplică per protocol, host și port, deci fiecare subdomeniu are nevoie de al său. Crawlerele nu caută în altă parte și nu îl vor găsi în subdirectoare.
Funcționează Crawl-delay?
Nu pentru Google, care îl ignoră complet - folosește setarea de crawl rate din Search Console. Bing și Yandex îl respectă. E aici pentru ei, dar pe majoritatea site-urilor ar trebui să rămână gol.