본문으로
카카오톡 상담

연구 정리

인용이 붙어도 정확하지 않다 — AI 출처 신뢰 연구 정리

"Search Engines in an AI Era" 는 생성형 검색엔진이 답변에 출처를 달면서도 사실과 다른 내용이나 어긋난 인용을 자주 내놓는다고 보고한 연구입니다.

수정·확인 이력 1건
  1. 발행 · 출처 재확인

핵심 요약

  • 출처 링크가 붙었다고 그 문장이 출처 내용과 맞는 것은 아닙니다.
  • 우리도 AI 가 어느 비교 사이트를 근거로 든 목록에 그 사이트에 없는 병원이 섞인 것을 봤습니다.
  • liveGPT 는 인용 횟수와 내용의 정확성을 나눠 확인합니다.

이 연구는 무엇을 확인했나요?

생성형 검색엔진의 답변을 사람이 검토해, 출처를 달고도 사실과 다른 내용을 말하거나 근거와 맞지 않는 인용을 붙이는 일이 잦다는 것을 보고했습니다. 출처 링크가 있다는 것과 내용이 맞다는 것은 다른 문제라는 뜻입니다.

우리도 비슷한 것을 봤나요?

봤습니다. AI 가 어느 비교 사이트를 근거로 내놓은 병원 목록에 그 사이트에는 한 번도 나오지 않는 병원이 섞여 있었습니다. 인용됐다는 사실만으로 내용이 옳다고 볼 수 없다는 것을 우리 화면에서도 확인한 셈입니다.

liveGPT 는 무엇을 확인하나요?

인용 횟수가 올랐는지와, 답변이 고객의 정보를 바르게 옮겼는지를 나눠 봅니다. 답변이 금액이나 시간을 틀리게 옮긴 경우에는 그 답변의 원문 링크까지 기록에 남겨 두어, 다음 달에 같은 잘못이 되풀이되는지 확인할 수 있게 합니다.

잘못 옮겨진 내용은 어떻게 줄이나요?

같은 사실이 페이지마다 다르게 적혀 있으면 답변도 흔들립니다. 가격이나 진료 시간처럼 자주 바뀌는 정보는 한 곳에서 관리하고 나머지 페이지는 그 문장을 가리키게 두는 편이 안전합니다. liveGPT 는 월 보고서에 인용된 답변 문장과 고객 페이지의 문장을 함께 적어, 어긋난 곳이 보이면 바로 고칠 수 있게 합니다.

고칠 곳을 찾는 순서도 정해 두었습니다. 답변의 링크를 열어 그 문장이 우리 페이지에서 왔는지부터 보고, 우리 쪽이면 문장을 고친 날짜를 기록에 남깁니다. 다른 사이트에서 온 내용이면 정정을 요청할지 고객과 함께 정합니다.

자주 묻는 질문

AI 답변이 우리 정보를 틀리게 옮기면 어떻게 하나요?

먼저 그 문장이 어느 출처에서 왔는지 답변의 링크로 확인합니다. 우리 페이지에서 왔다면 헷갈릴 만한 문장을 정확한 사실로 고치고, 다른 사이트에서 왔다면 그 사이트의 오래된 정보가 원인일 수 있어 정정 요청 여부를 함께 의논합니다.

출처