AIクローラーチェッカー

1つの切り替えではなく3つの判断

AIに関するrobots.txtの多くのアドバイスはすべてのボットを同じ扱いにしますが、そうではありません。その違いがAI回答に表示されるかを決めます。

取得 - ブロックすると引用を失います

OAI-SearchBot, Claude-SearchBot, PerplexityBot ライブ質問に答えるためにページを取得し、回答の下に引用リンクを生成します。これをブロックするとAI検索から除外されます。ほとんどのビジネスにとっては誤りで、多くは他の操作中の誤設定です。

ユーザー起動 - 限定的なコスト

ChatGPT-User および Claude-User 誰かがチャットにリンクを貼ったときにページを取得します。これをブロックするとその機能だけが使えなくなります。

トレーニング - 本当のビジネス判断

GPTBot, ClaudeBot, CCBot, Google-Extended 将来のモデル用にコーパスを収集します。これをブロックすると 影響はありません 今日の引用には影響しません。多くの出版社が意図的にブロックしています。それは選択であり欠陥ではないため、良し悪しは報告しません。

クローラーではないもの

Google-Extended 何も取得しません。Googlebotが既に持つコンテンツでGeminiを学習させるかどうかを制御し、ブロックしてもGoogle検索には影響しません。チームは起こりえないランキング低下を恐れてブロックしたり、実際に望んでいた学習のオプトアウトを避けたりします。

クローラーがアクセスした後にページが引用に値するか確認するには、 AI visibility checkerを実行してみてルールを最初に作成するには、 robots.txtジェネレーター代わりに。

よくある質問

重要なAIクローラーはどれ？

取得系クローラー：OAI-SearchBot、Claude-SearchBot、PerplexityBot。これらは今まさに質問に答えるためにページを取得し、AI回答の引用リンクを生成する。これらがブロックされると、ページの他の要素に関わらずAI結果に表示されない。

GPTBotをブロックするのはChatGPTをブロックするのと同じ？

いいえ、これがこの分野で最も重要な誤解です。GPTBotは将来のモデルのための学習データを収集します。OAI-SearchBotは現在の質問に答えるためにページを取得します。GPTBotをブロックしてもChatGPT検索からは除外されませんが、OAI-SearchBotをブロックすると除外されます。

Google-Extendedとは？

クローラーではありません。これはGooglebotが既に取得したコンテンツがGeminiの学習に使われるかどうかを制御するオプトアウトトークンです。ブロックしてもGoogle検索のインデックスやランキングには影響しません。Applebot-Extendedも同様です。

robots.txtがないのはまずい？

いいえ。robots.txtがないのは何も禁止していないことを意味し、ほとんどのサイトで正しいデフォルトです。特定の除外やサイトマップの宣言がある場合にのみ追加する価値があります。

クローラーリストの更新頻度は？

これはDraftCampのページ監査拡張機能を支える同じレジストリから来ており、ベンダーがトークンを公開または名前変更すると更新されます。各エントリは実際にブロックした場合の影響を記録し、すべてのAIボットを同一視しません。