추론 모델을 쓰다 보면 답변이 끝나지 않고 같은 구간을 되풀이하는 경우가 있습니다. 예를 들어 "Wait, let me reconsider..." 같은 문장이 반복되며 컨텍스트 창을 소진하는 식입니다. Liquid AI는 이 실패 모드를 둠 루프(doom loop)라고 부르고, 이를 줄이기 위한 오픈소스 방법 Antidoom을 공개했습니다.1
핵심은 단순한 반복 억제가 아닙니다. Antidoom은 모델 전체를 다시 가르치기보다, 반복이 시작되는 결정적 토큰을 찾아 그 지점만 조정합니다.
둠 루프는 “모르는 문제”가 아니라 “멈추지 못하는 문제”다
둠 루프는 추론 중 모델이 특정 구간을 반복 출력해 컨텍스트 창을 소진하는 실패 모드입니다.1 특히 소형 추론 모델은 긴 사고 과정을 요구하거나 난도가 높은 수학·코딩 문제에서 더 취약한 것으로 설명됩니다.1
이 현상을 단순히 “모델이 답을 몰라서 생긴다”고 보면 대응이 흐려집니다. 문제는 지식 부족이라기보다 진행 제어 실패에 가깝습니다. 모델이 불확실한 순간에 Wait, So, Alternatively 같은 전환 토큰을 선택하고, 그 선택이 이전 문맥과 맞물리면서 반복이 강화될 수 있습니다.1
즉, 둠 루프를 줄이려면 “더 많이 알게 하는 것”보다 “반복으로 들어가는 순간을 어떻게 피하게 할 것인가”가 중요해집니다.
왜 일반적인 반복 억제만으로는 부족한가
가장 익숙한 대응은 추론 시점에서 repetition_penalty를 적용하는 방식입니다. 반복되는 토큰의 확률을 낮춰 같은 표현이 계속 나오지 않도록 만드는 방법입니다.
하지만 Liquid AI는 이런 방식이 출력 분포를 재가중하기 때문에 성능 저하를 유발할 수 있다고 설명합니다.1 반복은 줄어들 수 있지만, 모델이 원래 잘하던 답변 품질이나 추론 흐름까지 함께 영향을 받을 수 있다는 뜻입니다.
Antidoom은 이보다 좁게 접근합니다. 전체 출력 습관을 억누르는 대신, 루프가 시작되는 첫 토큰을 찾아 그 위치만 다시 학습합니다.2
Antidoom: 문제 토큰만 겨냥하는 FTPO
Antidoom의 핵심 방법은 Final Token Preference Optimization(FTPO)입니다. 반복이 시작되는 지점을 찾고, 그 위치에서 “이 토큰보다 더 적절한 다음 토큰을 선택하라”는 식으로 선호 최적화를 수행합니다.2
중요한 점은 범위입니다. Antidoom은 전체 답변을 새로 학습시키거나 모델의 추론 스타일을 크게 바꾸려는 방법이 아닙니다. 반복 루프를 유발하는 특정 결정 지점을 겨냥합니다.
Liquid AI가 공개한 결과에 따르면, LFM2.5-2.6B 초기 체크포인트에서는 둠 루프 비율이 10.2%에서 1.4%로 줄었습니다. Qwen3.5-4B에서는 22.9%에서 1%로 낮아졌습니다.1
이 숫자가 보여주는 것은 “작은 조정으로도 특정 실패 모드는 크게 줄일 수 있다”는 점입니다. 다만 이것을 범용 성능 향상으로 해석하기보다는, 반복 루프라는 좁은 문제를 정밀하게 완화한 사례로 보는 편이 적절합니다.
적용 전 확인해야 할 것
Antidoom은 모든 모델에 무조건 적용할 만한 만능 개선책이 아닙니다. GitHub 설명에서도 반복 루프를 줄이기 위한 좁은 도구라고 설명합니다.2
실제 적용을 검토한다면 먼저 다음을 확인해야 합니다.
서비스 로그에서 둠 루프가 실제로 얼마나 자주 발생하는가
반복 루프가 드문 문제라면 별도 학습보다 프롬프트, 디코딩 설정, 후처리로 충분할 수 있습니다.루프가 특정 시작 토큰이나 패턴에 몰려 있는가
Antidoom은 반복이 시작되는 토큰을 겨냥하는 방식이므로, 문제 지점이 비교적 명확할수록 적합합니다.수정 후 다른 품질 저하가 생기지 않는가
지나치게 강한 조정은 새로운 루프나 답변 품질 저하를 만들 수 있습니다.1
한 토큰을 고치는 것이 더 실용적일 때
Antidoom이 흥미로운 이유는 추론 모델의 안정성을 꼭 더 큰 모델이나 더 많은 학습으로만 해결하려 하지 않는다는 점입니다. 때로는 실패가 시작되는 한 토큰의 선택을 정확히 고치는 편이 더 실용적입니다.
둠 루프는 사용자 입장에서 답변 실패로 바로 드러나는 문제입니다. 따라서 추론 모델을 서비스에 적용한다면 평균 성능뿐 아니라, 이런 반복 실패가 얼마나 자주 발생하는지도 함께 봐야 합니다.
Antidoom은 그 관점을 잘 보여줍니다. 모델을 전면적으로 바꾸기보다, 반복으로 빠지는 좁은 통로를 찾아 막는 방식입니다. 추론 모델의 품질을 평가하고 개선할 때 참고할 만한 실용적인 접근입니다.
1Reducing Doom Loops with Final Token Preference Optimization
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.