본문으로
카카오톡 상담

GEO 용어

AI 크롤러 (AI crawler)

AI 크롤러는 AI 회사가 모델 학습이나 AI 검색 색인, 대화 중 실시간 페이지 열람에 쓰려고 웹페이지를 자동으로 가져가는 수집 프로그램입니다.

수정·확인 이력 1건
  1. 발행 · 출처 재확인

목적마다 이름이 다릅니다. OpenAI 는 학습용 GPTBot, 검색 색인용 OAI-SearchBot, 대화 중 열람용 ChatGPT-User 를 나눠 쓰고, Anthropic 과 Perplexity 도 비슷하게 나눕니다. 학습을 막아도 검색 크롤러는 따로 허용할 수 있습니다.

허용 여부는 이름만 바꾼 요청으로 확인할 수 없습니다. 차단 설정을 켠 상태에서도 이름만 바꾼 요청은 통과했습니다. liveGPT 진단은 실제 AI 서비스의 요청이 서버에 닿는지로 확인합니다.