본문으로
카카오톡 상담

측정 기록

AI 답변은 매번 다르다 — 같은 질문을 몇 번 물어야 믿을 수 있나

같은 질문을 ChatGPT 검색 API 에 열 번 물었더니 답변에 인용된 도메인은 질문마다 약 19개로 흩어졌고 그중 여러 번 반복된 곳은 한두 개였기에, AI 노출 여부는 질문마다 20회 이상 물은 횟수로 판단해야 합니다.

수정·확인 이력 1건
  1. 발행

핵심 요약

  • 같은 질문을 10번 물으면 인용 도메인은 약 19개로 흩어졌고 반복해서 나온 곳은 1~2개였습니다.
  • 400번의 답변에 나온 고유 도메인 171개 가운데 65%는 딱 한 번만 나왔습니다.
  • 그래서 AI 노출 여부는 질문마다 20회 이상 물어 나온 횟수로 판단합니다.

한 번 확인한 결과는 왜 틀릴 수 있나요?

AI 검색은 같은 질문에도 물을 때마다 다른 출처를 고르기 때문에, 한 번의 확인은 우연히 걸린 결과일 수 있습니다. 실제로 우리도 질문을 한 번씩만 물어 내린 결론이 바로 다음 확인에서 뒤집힌 일을 겪었습니다.

조사 과정에서 질문 14개를 한 번씩 물어 “순위를 묻는 질문은 인용되고 자연스러운 질문은 인용되지 않는다”는 깔끔한 결론이 나온 적이 있습니다. 그런데 세 번 모두 인용되지 않았다고 보고된 질문 하나를 다시 물었더니 첫 시도에서 바로 인용됐습니다.

같은 질문의 결과는 얼마나 달라지나요?

생각보다 크게 달라집니다. 2026년 9월 13일 OpenAI gpt-5 모델에 웹 검색을 켜고 의료 분야 질문 20개를 10번씩 물었을 때, 한 질문의 열 번 답변에 인용된 도메인을 모두 모으면 약 19개였고 여러 번 반복해서 나온 곳은 1개에서 2개였습니다.

전체 400번의 답변에 인용된 고유 도메인은 171개였고, 그중 65%는 딱 한 번만 나왔습니다. 한두 번 물어서 우리 사이트가 보였다거나 안 보였다고 말하는 것이 왜 위험한지 보여 주는 숫자입니다.

질문 종류에 따라서도 달라지나요?

네, 질문의 종류가 AI 가 웹을 찾아볼지부터 바꿉니다. 서울 위치를 지정한 측정에서 비교를 묻는 질문은 42%, 문제를 묻는 질문은 40%의 답변에서 검색과 인용이 일어났지만, 방법을 묻는 질문은 한 번도 일어나지 않았습니다.

질문 종류 위치 미지정 서울 위치 지정
비교 15% 42%
문제 12% 40%
정의 3% 15%
방법 0% 0%

그래서 GEO 로 노릴 질문을 정할 때는 먼저 그 질문이 검색을 일으키는지부터 잽니다.

그러면 질문마다 몇 번을 물어야 하나요?

질문마다 20회 이상이 우리 기준입니다. 반복 횟수별로 인용률 추정의 흔들림을 계산하면 서너 번은 거의 아무것도 말해 주지 못했고, 열 번에서도 오차가 컸으며, 스무 번에서도 오차가 남아 정밀하게 비교해야 하는 질문은 30회에서 40회까지 늘려야 했습니다.

외부 연구도 같은 방향입니다. 날짜를 바꿔 같은 질문을 물었을 때 인용된 도메인이 서로 겹치는 비율이 절반에 못 미쳤고, 몇 번만 잰 결과는 오차가 매우 크다고 보고했습니다.

liveGPT 는 이 기록을 어디에 쓰나요?

월 보고서의 기준으로 씁니다. 계약한 질문을 같은 조건으로 20회 이상 물어 몇 번 중 몇 번 인용됐는지를 적고, 달마다 같은 조건끼리 비교합니다. 측정 조건은 측정 방법에 정리했습니다.

출처