Draftcamp

Robots.txt oluşturucu

AI eğitim, erişim ve kullanıcı tarayıcılarını ayrı kararlar olarak ele alan bir robots.txt oluştur

Tamamen tarayıcında çalışır - metnin asla yüklenmez

Arama motorları

Satır başına bir yol

Google tarafından yoksayılır

AI tarayıcıları

Üç ayrı karar, tek değil. Engelleme varsayılan kapalıdır.

Retrieval (citation-eligible)

Bunlar alıntılar oluşturur. Engellemek seni AI yanıtlarından tamamen çıkarır - neredeyse her zaman hata.

User-triggered fetch

Biri bağlantıyı sohbete yapıştırdığında sayfanı getirirler. Engellemek bunu bozar, başka bir şeyi değil.

Model training

Bunlar gelecekteki modeller için eğitim verisi toplar. Engellemek bugün alıntılanmanı etkilemez. Her iki durumda da geçerli bir iş kararıdır.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Alan adının köküne, tam olarak /robots.txt olarak yükle. Her alt alan adı kendi dosyasına ihtiyaç duyar.

AI tarayıcılarını engellemek üç karardır, tek değil

Neredeyse her robots.txt oluşturucu tek bir "AI botlarını engelle" kutusu sunar. O kutu üç tamamen farklı sonucu karıştırır ve en yaygın sonuç, model eğitiminden çıkmak isteyen ama yanlışlıkla AI aramasından silinen bir site olur.

Veri alma tarayıcıları - bunları engellemek atıf kaybettirir

OAI-SearchBot, Claude-SearchBot ve PerplexityBot burada önemli olanlar bunlar. Bunlar, şu anda birinin sorduğu soruya cevap vermek için sayfaları getirir ve AI cevabının altındaki kaynak bağlantısını oluştururlar. Bunları engellersen, cevapta yer alamazsın. Neredeyse her işletme için bu basit bir hatadır.

Kullanıcı tetiklemeli getiriciler - dar, özel bir maliyet

ChatGPT-Kullanıcı, Claude-Kullanıcı. Birisi linkini sohbete yapıştırıp sorunca sayfanı getirirler. Engellemek sadece bu akışı bozar, başka bir şey değil. Sayfaların erişim kısıtlıysa engellemek mantıklı; aksi halde anlamsız.

Eğitim tarayıcıları - meşru bir iş kararı

GPTBot, ClaudeBot, CCBot, Google-Extended. Bunlar gelecekteki modelleri eğitmek için veri toplar. Engellemek etkisi yoktur bugün atıf alıp almadığınla ilgili. Birçok yayıncı bunları bilinçli olarak engeller ve bu savunulabilir bir tercihtir - kusur değil, bu yüzden hiçbir araç bunu kusur olarak işaretlememelidir.

Tarayıcı olmayan

Google-Extended hiçbir şeyi asla getirmez. Googlebot’un zaten sahip olduğu içeriğin Gemini’yi eğitip eğitemeyeceğini kontrol eden bir çıkış tokenıdır. Engellemek Google Arama dizinlemesini veya sıralamasını hiç etkilemez. Applebot-Extended Apple için de aynı fikir geçerlidir.

Dosya yayına alındıktan sonra gerçekten neye izin verdiğini doğrula ücretsiz araçların geri kalanı ayrıca.

Sık sorulan sorular

Yapay zeka tarayıcılarını engellemeli miyim?
Tamamen türüne bağlı ve hepsini aynı görmek, insanların yanlışlıkla AI aramalarından kendini çıkarmasına yol açar. OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi alıntı botlarını engellemek, AI cevaplarında alıntılanamamak demektir. GPTBot ve CCBot gibi eğitim botlarını engellemek ise sadece gelecekteki model eğitimini engeller, alıntılamayı etkilemez. "AI engelle" diyenlerin çoğu ikinciyi kasteder ama yanlışlıkla birincisini yapar.
Google-Extended ile Googlebot arasındaki fark nedir?
Google-Extended bir tarayıcı değil. Googlebot'un zaten aldığı içeriğin Gemini eğitiminde kullanılıp kullanılmayacağını kontrol eden bir opt-out tokenıdır. Engellemek Google Arama dizine ekleme veya sıralamasını etkilemez. Applebot-Extended de Apple için aynı şekilde çalışır.
robots.txt bir sayfanın dizine eklenmesini engeller mi?
Hayır, bu en yaygın robots.txt hatasıdır. Disallow taramayı engeller, dizine eklemeyi değil. robots.txt ile engellenen bir sayfa, başka sayfalar ona link veriyorsa sonuçlarda görünebilir - genellikle açıklamasız. Bir şeyi dizinden çıkarmak için noindex meta etiketi gerekir ve bu etiketin okunabilmesi için sayfa taranabilir olmalıdır.
Dosya nereye konur?
Tam olarak alan adının kökünde: https://example.com/robots.txt. Protokol, host ve port bazında uygulanır, bu yüzden her alt alan adının kendi dosyası olmalı. Tarayıcılar başka yerde aramaz, alt dizinde bulmaz.
Crawl-delay işe yarar mı?
Google tamamen görmezden gelir - bunun yerine Search Console'daki tarama hızı ayarını kullan. Bing ve Yandex saygı gösterir. Bu dosya onlar için var ama çoğu sitede boş bırakılmalı.