AI tarayıcı kontrolü

Bir değil, üç karar

Çoğu robots.txt AI tavsiyesi her botu aynı görür. Öyle değil ve fark, AI yanıtlarında görünüp görünmeyeceğini belirler.

Erişim - engellemek atıflarına mal olur

OAI-SearchBot, Claude-SearchBot, PerplexityBot canlı soruya cevap vermek için sayfaları getirir ve cevabın altında kaynak linki oluşturur. Bunları engellemek seni AI aramasından çıkarır. Neredeyse her işletme için bu bir hatadır ve genellikle başka bir şey yapmaya çalışırken kazara olur.

Kullanıcı tetikli - dar bir maliyet

ChatGPT-Kullanıcı ve Claude-Kullanıcı birisi linki sohbete yapıştırdığında sayfanı getirir. Engellemek bunu bozar, başka bir şeyi değil.

Eğitim - gerçek bir iş kararı

GPTBot, ClaudeBot, CCBot, Google-Extended gelecekteki modeller için veri toplar. Bunları engellemek etkisi yoktur bugünkü atıflara. Birçok yayıncı bunları bilinçli olarak engeller. Bu bir tercih, kusur değil ve biz bunu ne iyi ne kötü olarak raporlarız.

Tarayıcı olmayan

Google-Extended hiçbir şeyi asla getirmez. Googlebot’un zaten sahip olduğu içeriğin Gemini’yi eğitip eğitemeyeceğini belirler ve engellemek Google Arama’yı etkilemez. Takımlar, olamayacak bir sıralama kaybından korkup engeller ya da aslında istedikleri eğitimden çıkmayı engellemekten kaçınırlar.

Sayfa tarayıcılar girdiğinde alıntılanmaya değer mi görmek için şunu çalıştır AI görünürlük denetleyicisiKuralları yazmak için öncelikle şunu kullan robots.txt oluşturucu yerine.

Sık sorulan sorular

En önemli AI tarayıcıları hangileri?

OAI-SearchBot, Claude-SearchBot ve PerplexityBot gibi sorgu odaklılar. Şu anda sorulan sorulara cevap vermek için sayfaları getirirler ve AI cevabının altındaki kaynak bağlantısını oluştururlar. Bunlar engellenirse, sayfadaki diğer her şeye rağmen AI sonuçlarında yer almazsın.

GPTBot'u engellemek ChatGPT'yi engellemekle aynı mı?

Hayır, bu alandaki en büyük yanlış anlama bu. GPTBot gelecekteki modeller için eğitim verisi toplar. OAI-SearchBot ise şu an soruları cevaplamak için sayfa getirir. GPTBot'u engellemek seni ChatGPT aramasından çıkarmaz; OAI-SearchBot'u engellemek çıkarır.

Google-Extended nedir?

Hiçbir şekilde tarayıcı değil. Googlebot'un zaten getirdiği içeriğin Gemini eğitiminde kullanılıp kullanılmayacağını kontrol eden bir çıkış token'ı. Engellemek Google Arama dizinlemesi veya sıralamasını etkilemez. Applebot-Extended de Apple için aynı şekilde çalışır.

Robots.txt dosyam yok. Bu kötü mü?

Hayır. Robots.txt dosyasının olmaması hiçbir şeyin engellenmediği anlamına gelir ve bu çoğu site için doğru varsayılandır. Sadece özel bir şeyi engellemek ya da bir site haritası bildirmek istediğinde eklemeye değer.

Tarayıcı listesi ne kadar güncel?

DraftCamp sayfa denetim eklentisini besleyen aynı kayıttan gelir ve satıcılar token yayınlayıp yeniden adlandırdığında güncellenir. Her kayıt, engellemenin gerçek maliyetini kaydeder; tüm AI botlarını aynı şekilde değerlendirmez.