최근 AI 뉴스에서 "GPT-5급 최첨단 LLM도 대화가 길어지면 정확도가 최대 33% 떨어진다"는 보고가 나왔습니다1. 중요한 건 이게 특정 모델의 결함이 아니라, '채팅'이라는 사용 방식 자체가 모델을 흔들 수 있다는 점입니다. 오늘은 왜 이런 일이 생기는지, 어떤 유형의 멀티턴에서 특히 잘 무너지는지, 그리고 실무에서 어떻게 피해 갈지까지 한 번에 정리해볼게요.
멀티턴 대화 정확도 저하: 무엇이 얼마나 떨어지나
연구 요지는 단순합니다. 같은 일을 시켜도 "한 번에 요구사항을 모아 주는 방식(단일 턴)"보다, "메시지를 여러 번에 나눠 조금씩 추가하는 방식(멀티턴)"에서 성능이 크게 내려갑니다1. 특히 코드, 데이터베이스, 액션 실행, 수학, 요약 같은 '정보 조각을 모아 끝에서 완성해야 하는 작업'에서 손실이 도드라졌다고 해요.
재미있는 포인트는 "최신 모델이니 해결됐다"가 아니라 "개선은 됐지만 여전히 크다"입니다. 보고에 따르면 세대가 올라가며 하락 폭이 줄긴 했지만, 최악의 경우 여전히 33% 수준까지 떨어졌습니다1. 즉 컨텍스트 창(토큰)이 길어졌다고 해서 '대화 품질'이 자동으로 따라오지는 않는다는 경고죠.
왜 길게 채팅하면 AI가 '길을 잃을까': 기억이 아니라 주의력 문제
사람들은 보통 "AI가 기억력이 나빠서"라고 생각합니다. 하지만 더 정확한 표현은 "주의력이 분산된다"에 가깝습니다. 긴 대화에서는 초기의 핵심 조건이 뒤로 밀리고, 중간에 생긴 잡음(되풀이, 잡담, 임시 결론, 방향 전환)이 신호를 덮어버립니다. 긴 문서를 넣어도 다 읽는 것 같지만, 필요한 사실을 '제때' 꺼내는 능력은 별개라는 얘기죠.
이 현상은 긴 컨텍스트 실험에서도 반복됩니다. 일부 테스트에서는 10만 토큰 이상에서 정확도가 64~72%대로 내려가는 등, 모델들이 장거리 주행에서 고전하는 모습이 관찰됐습니다2. "1M 토큰" 같은 숫자는 수납공간일 뿐, 정리정돈 능력까지 보장하는 건 아니라는 비유가 딱 맞습니다.
'의도 불일치'가 만드는 멀티턴 붕괴: 사용자가 바뀌면 답도 바뀐다
또 하나의 핵심 원인은 기술이 아니라 대화 습관입니다. 후속 연구는 멀티턴 실패를 "모델 능력 부족"이라기보다 "사용자 의도와 모델 해석의 엇갈림"으로 봅니다3. 대화 초반에 모델이 A라고 '가정'해버리면, 사용자는 B를 말하고 싶어도 짧게 덧붙이는 식으로 이야기하곤 하죠. 문제는 모델이 그 덧붙임을 '수정'이 아니라 '확인'으로 받아들이며 오해를 굳혀버린다는 겁니다.
그래서 멀티턴 성능을 올리는 해결책도 의외로 단순합니다. 일을 시키기 전에 "너가 이해한 요구사항을 한 문단으로 먼저 요약해줘" 같은 '의도 정렬 단계'를 넣으면, 같은 모델이라도 결과가 안정됩니다. 연구에서도 의도 파악(중재)과 실행(어시스턴트)을 분리하는 구조가 성능 저하를 줄이는 방향으로 제시됩니다3.
시사점: 실무에서 정확도 떨어지기 전에 하는 4가지 습관
긴 대화가 불가피한 업무(기획, 개발, 분석, 고객지원)라면 "대화를 짧게"만으로는 해결이 안 됩니다. 대신 대화를 '정비'해야 합니다.
첫째, 중간 체크포인트를 만드세요. 5~10턴마다 "현재까지 확정된 요구사항/제약/출력 형식"을 한 문단으로 합의해 두면, 모델이 초반 조건을 잃어버릴 확률이 줄어듭니다.
둘째, 바뀐 조건은 "추가"가 아니라 "교체"로 말하세요. 예를 들어 "아까 말한 A는 무시하고 B로 바꿔"처럼 폐기 선언을 해줘야 모델이 덜 헷갈립니다.
셋째, 대화가 꼬이면 새 채팅으로 이사하세요. 뉴스에서 추천한 방식도 비슷한데, 지금까지의 요청을 모델이 요약하게 만든 뒤 그 요약을 새 대화의 첫 프롬프트로 쓰는 겁니다1. 긴 채팅방을 유지하는 것보다, 잘 정리된 '새 작업지시서'가 더 강합니다.
넷째, 멀티턴 품질을 점수로 관리하세요. 멀티턴 전용 벤치마크인 MultiChallenge도 "지시사항 유지, 사용자 정보 기억, 버전 관리형 수정, 자기 일관성" 같은 항목으로 챗봇의 약점을 쪼개 평가합니다4. 내 서비스가 어디에서 흔들리는지 모르면, 프롬프트를 아무리 만져도 운에 맡기게 됩니다.
결론은 명확합니다. GPT-5 이후의 최첨단 모델도 '긴 대화'에서는 틀릴 수 있고, 그 틀림은 생각보다 크게(최대 33%) 벌어질 수 있습니다1. 하지만 반대로 말하면, 대화 운영만 잘해도 체감 정확도는 꽤 올릴 수 있습니다. AI와 오래 이야기할수록 필요한 건 더 많은 말이 아니라, 더 나은 정리입니다.
참고
1Even frontier LLMs from GPT-5 onward lose up to 33% accuracy when you chat too long
3Intent Mismatch Causes LLMs to Get Lost in Multi-Turn Conversation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.