Draftcamp

Generator robots.txt

Buat robots.txt yang memperlakukan crawler pelatihan AI, pengambilan, dan pengguna sebagai keputusan terpisah

Berjalan sepenuhnya di browser-mu - teksmu tidak pernah diunggah

Mesin pencari

Satu jalur per baris

Diabaikan oleh Google

AI crawlers

Tiga keputusan terpisah, bukan satu. Pemblokiran mati secara default.

Retrieval (citation-eligible)

Ini menghasilkan kutipan. Memblokirnya membuatmu hilang dari jawaban AI - hampir selalu salah.

User-triggered fetch

Ini mengambil halamanmu saat seseorang menempelkan link di chat. Memblokirnya hanya merusak ini, tidak yang lain.

Model training

Ini mengumpulkan data pelatihan untuk model masa depan. Memblokirnya tidak memengaruhi apakah kamu dikutip hari ini. Keputusan bisnis yang sah.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Unggah ke root domainmu, tepat di /robots.txt. Setiap subdomain butuh file sendiri.

Memblokir AI crawler adalah tiga keputusan, bukan satu

Hampir semua pembuat robots.txt menyediakan satu kotak centang "block AI bots". Kotak ini menggabungkan tiga hasil yang sangat berbeda, dan hasil paling umum adalah situs yang ingin keluar dari pelatihan model tapi malah terhapus dari pencarian AI.

Retrieval crawlers - memblokir ini membuatmu kehilangan kutipan

OAI-SearchBot, Claude-SearchBot dan PerplexityBot adalah yang penting di sini. Ini mengambil halaman untuk menjawab pertanyaan yang sedang diajukan seseorang, dan mereka yang menghasilkan tautan kutipan di bawah jawaban AI. Blokir mereka dan kamu tidak akan muncul dalam jawaban. Untuk hampir semua bisnis, ini adalah kesalahan yang jelas.

User-triggered fetchers - biaya spesifik dan terbatas

ChatGPT-User, Claude-User. Mereka mengambil halamanmu saat seseorang menempelkan tautan di chat dan bertanya. Memblokirnya mengganggu alur itu saja. Wajar diblokir jika halamanmu berbayar; kalau tidak, sia-sia.

Training crawlers - keputusan bisnis yang sah

GPTBot, ClaudeBot, CCBot, Google-Extended. Mereka mengumpulkan data untuk melatih model masa depan. Memblokirnya memiliki tidak ada efek tentang apakah kamu dikutip hari ini. Banyak penerbit sengaja memblokir ini, dan itu pilihan yang dapat dipertanggungjawabkan - bukan cacat, jadi tidak ada alat yang harus menandainya sebagai cacat.

Yang bukan crawler

Google-Extended tidak pernah mengambil apa pun. Ini token opt-out yang mengatur apakah konten yang sudah dimiliki Googlebot bisa melatih Gemini. Memblokirnya tidak memengaruhi pengindeksan atau peringkat Google Search sama sekali. Applebot-Extended adalah ide yang sama untuk Apple.

Setelah file aktif, pastikan apa yang sebenarnya diizinkan dengan sisa alat gratis juga.

Pertanyaan umum

Haruskah saya memblokir crawler AI?
Ini tergantung jenisnya, dan mencampuradukkannya bisa membuat kamu tidak muncul di pencarian AI. Memblokir bot pengambil data seperti OAI-SearchBot, Claude-SearchBot, dan PerplexityBot berarti kamu tidak bisa dikutip di jawaban AI. Memblokir bot pelatihan seperti GPTBot dan CCBot tidak memengaruhi sitasi sama sekali - hanya menghentikan pelatihan model di masa depan. Kebanyakan orang yang bilang "blok AI" maksudnya yang kedua tapi malah melakukan yang pertama.
Apa perbedaan Google-Extended dan Googlebot?
Google-Extended bukan crawler. Ini token opt-out yang mengontrol apakah konten yang sudah diambil Googlebot bisa digunakan untuk pelatihan Gemini. Memblokirnya tidak memengaruhi pengindeksan atau peringkat Google Search. Applebot-Extended bekerja sama untuk Apple.
Apakah robots.txt menghentikan halaman dari pengindeksan?
Tidak, ini kesalahan robots.txt yang paling umum. Disallow menghentikan crawling, bukan pengindeksan. Halaman yang diblokir di robots.txt masih bisa muncul di hasil pencarian - biasanya tanpa deskripsi - jika halaman lain menautkannya. Untuk mengeluarkan sesuatu dari indeks, kamu butuh tag meta noindex, dan itu harus bisa di-crawl agar tag terbaca.
Di mana file itu diletakkan?
Tepat di root domain: https://example.com/robots.txt. Ini berlaku per protokol, host, dan port, jadi setiap subdomain harus punya sendiri. Crawler tidak mencari di tempat lain dan tidak akan menemukannya di subdirektori.
Apakah Crawl-delay berfungsi?
Tidak untuk Google, yang mengabaikannya sepenuhnya - gunakan pengaturan crawl rate di Search Console. Bing dan Yandex menghormatinya. File ini ada untuk mereka, tapi di sebagian besar situs sebaiknya dikosongkan.