AI 리서치의 품질을 가르는 기준은 이제 “그럴듯한가”가 아닙니다. 출처와 주장이 실제로 맞물려 있는가입니다.
KPMG의 ‘Total Experience: Redefining Excellence in the Age of Agentic AI’는 전 세계 소비자 경험에 관한 연례 연구 결과를 요약한 보고서였습니다.1 그러나 GPTZero가 다수의 부정확한 인용과 주장을 지적한 뒤, KPMG는 해당 보고서를 웹사이트에서 내리고 자체 조사에 들어갔습니다.2
이 사례가 중요한 이유는 단순히 “AI가 보고서를 잘못 썼다”는 데 있지 않습니다. AI가 만든 문장보다 더 위험한 것은, 검증되지 않은 근거가 권위 있는 보고서의 형식으로 포장되는 일입니다.
핵심 문제는 문체가 아니라 근거였다
GPTZero 조사에 따르면, 보고서에 포함된 인용 45개 중 실제 출처를 정확히 가리킨 것은 5개뿐이었습니다.1 나머지 중 28개는 실제 자료를 바탕으로 한 듯 보였지만 제목이 의역되거나 조작된 요소가 섞인 것으로 분류됐고, 12개는 출처 존재 여부를 정확히 판단하기 어려울 만큼 모호하거나 결함이 있는 것으로 분류됐습니다.1
더 심각한 부분은 인용 형식의 오류가 주장 자체의 신뢰성으로 이어졌다는 점입니다. GPTZero는 이 45개 인용이 뒷받침한 주장 중 약 절반이 허위이거나 잘못 귀속된 것으로 보인다고 밝혔습니다.1
즉, 문제는 참고문헌 목록이 조금 부정확했다는 수준이 아닙니다. 독자가 “출처가 있으니 믿을 만하다”고 판단할 수 있는 구조 자체가 흔들린 것입니다.
‘바이브 인용’은 어떻게 신뢰를 무너뜨리는가
GPTZero는 이런 현상을 ‘vibe citing’이라고 설명했습니다. LLM 환각으로 인해 그럴듯하지만 검증되지 않은 참고문헌이 우발적으로 만들어지는 현상입니다.1
여기에는 세 가지 유형이 포함됩니다. 완전히 조작된 참고문헌, 여러 실제 참고문헌이 섞인 인용, 실제 인용을 심하게 의역한 사례입니다.1 겉으로는 학술적이고 전문적인 형식을 갖추지만, 실제로는 원문 확인이 어렵거나 주장과 출처가 맞지 않을 수 있습니다.
이번 보고서에서는 특히 ‘agentic AI’ 사례를 찾으라는 요청에 AI 리서치 도구가 과잉 순응했을 가능성이 제기됐습니다.1 다시 말해, 도구가 “확인 가능한 사례가 없다”고 멈추기보다, 요구에 맞아 보이는 사례와 인용을 만들어냈을 수 있다는 뜻입니다.
권위 있는 이름은 검증을 대신하지 못한다
KPMG는 콘텐츠의 정확성과 무결성을 중요하게 본다며, 책임 있는 AI 사용에는 사람이 내용을 검증하고 독립 출처를 확인하는 절차가 포함된다고 밝혔습니다.2
이 지점이 이번 사건의 실질적인 교훈입니다. AI를 리서치에 쓰지 말아야 한다는 결론이 아닙니다. 오히려 AI를 사용할수록 출판 전 검증 절차가 더 중요해진다는 뜻입니다.
AI가 만든 요약, 사례, 인용은 초안일 수는 있습니다. 그러나 그것이 보고서, 기사, 백서처럼 외부 신뢰를 요구하는 문서가 되려면 사람이 원문까지 확인해야 합니다. 인용이 실제 문서로 이어지는지, 출처가 주장과 같은 말을 하고 있는지, 사례가 과장되거나 잘못 귀속되지 않았는지 점검해야 합니다.
AI 보고서를 읽을 때 확인할 세 가지
앞으로 AI 관련 보고서나 리서치 문서를 읽을 때는 다음 세 가지를 확인하는 것만으로도 많은 위험을 줄일 수 있습니다.
인용이 실제 원문으로 이어지는가
제목, 발행기관, 링크가 실제 자료와 일치하는지 확인해야 합니다.주장과 출처 내용이 같은 말을 하는가
출처가 존재하더라도, 보고서의 주장을 실제로 뒷받침하지 않을 수 있습니다.기관의 권위가 근거 검증을 대신하고 있지는 않은가
유명 컨설팅사나 연구기관의 이름이 붙어 있어도, 인용과 사실관계는 별도로 확인해야 합니다.
AI 시대의 전문성은 더 많은 문서를 더 빨리 만드는 능력만이 아닙니다. 그럴듯한 문장과 보기 좋은 참고문헌 속에서 검증되지 않은 근거를 걸러내는 능력입니다.
1Chasing the Hallucinations: KPMG's AI-Powered Attempt at "Redefining Excellence"
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.