Draftcamp

AI 크롤러 검사기

GPTBot, ClaudeBot, PerplexityBot 등 어떤 크롤러가 robots.txt에 허용되는지 확인

robots.txt를 확인할 URL을 입력해줘

20개 AI 크롤러가 네 규칙에 따라 검사되며, 차단 시 실제 영향별로 그룹화돼.

한 번의 전환이 아닌 세 가지 결정

대부분 AI 관련 robots.txt 조언은 모든 봇을 동일하게 취급하지만, 그렇지 않습니다. 이 차이가 AI 답변에 노출될지 결정합니다.

검색 - 차단하면 인용 기회를 잃음

OAI-SearchBot, Claude-SearchBot, PerplexityBot 실시간 질문에 답하기 위해 페이지를 가져오고, 답변 아래에 인용 링크를 생성해. 이를 차단하면 AI 검색에서 제외돼. 거의 모든 비즈니스에선 실수이며, 보통 다른 작업 중 실수로 발생해.

사용자 유발 - 제한된 비용

ChatGPT-User 그리고 Claude-User 사람이 링크를 채팅에 붙여넣을 때 페이지를 가져와. 차단하면 이 기능만 작동하지 않게 돼.

학습 - 진짜 비즈니스 결정

GPTBot, ClaudeBot, CCBot, Google-Extended 미래 모델을 위한 말뭉치를 수집해. 차단하면 영향 없음 오늘날 인용에는 영향 없어. 많은 출판사가 의도적으로 차단하는데, 이는 결함이 아닌 선택이며, 우리는 이를 좋지도 나쁘지도 않게 보고해.

크롤러가 아닌 것

Google-Extended 아무것도 가져오지 않아. Googlebot이 이미 가진 콘텐츠로 Gemini를 학습할지 결정하며, 차단해도 Google 검색에는 영향 없어. 팀들은 불가능한 순위 하락을 우려해 차단하거나, 실제로 원했던 학습 제외를 두려워해 차단을 피해.

크롤러가 들어온 후 페이지 인용 가치가 있는지 확인하려면, AI 가시성 검사기를 실행해봐규칙을 처음 작성하려면, robots.txt 생성기 측정하세요.

자주 묻는 질문

가장 중요한 AI 크롤러는 무엇일까?
검색용 봇: OAI-SearchBot, Claude-SearchBot, PerplexityBot. 이들은 지금 누군가가 묻는 질문에 답하기 위해 페이지를 가져오며, AI 답변 아래 인용 링크를 생성하는 봇입니다. 이들이 차단되면 페이지 내 다른 요소와 상관없이 AI 결과에 노출되지 않습니다.
GPTBot 차단이 ChatGPT 차단과 같은가?
아니야, 이게 가장 큰 오해야. GPTBot은 미래 모델 학습용 데이터를 수집하고, OAI-SearchBot은 지금 당장 질문에 답하기 위해 페이지를 가져와. GPTBot을 차단해도 ChatGPT 검색에서 제외되지 않지만, OAI-SearchBot을 차단하면 제외돼.
Google-Extended란 무엇일까?
전혀 크롤러가 아니야. 이건 Googlebot이 이미 가져온 콘텐츠가 Gemini 학습에 사용되는 걸 제어하는 옵트아웃 토큰이야. 차단해도 Google 검색 인덱싱이나 순위에 전혀 영향 없어. Applebot-Extended도 같은 방식으로 작동해.
robots.txt가 없으면 안 좋은 걸까?
아니야. robots.txt가 없다는 건 아무것도 차단하지 않는다는 뜻으로, 대부분 사이트에선 기본 설정이 이게 맞아. 특정 항목을 제외하거나 사이트맵을 선언할 때만 추가하는 게 의미 있어.
크롤러 목록은 얼마나 최신인가?
이 데이터는 DraftCamp 페이지 감사 확장 프로그램과 같은 레지스트리에서 가져오며, 공급자가 토큰을 발행하거나 이름을 바꿀 때 업데이트돼. 각 항목은 차단 시 실제 손실을 기록하며 모든 AI 봇을 똑같이 취급하지 않아.