이 파일은 수집 규칙을 알리는 약속이지 요청을 물리적으로 막는 장치가 아닙니다. 규칙을 지키는 크롤러만 따르고, Cloudflare 같은 네트워크 쪽 봇 차단 설정은 robots.txt 와 별개로 요청 자체를 막습니다. 2026년 9월 14일 우리 측정에서도 네트워크 설정으로 AI 요청을 막았을 때는 robots.txt 로 막았을 때와 다른 오류가 돌아왔습니다.
liveGPT 는 GEO 진단에서 robots.txt 를 가장 먼저 봅니다. 검색용 AI 크롤러가 막혀 있으면 페이지를 아무리 고쳐도 그 엔진의 출처가 될 수 없기 때문입니다. 파일에 허용이라고 적혀 있어도 네트워크 설정이 막고 있을 수 있어 실제 AI 서비스 요청이 닿는지까지 확인합니다.