LLM을 평가할 때 우리는 주로 답이 맞는지, 문장이 자연스러운지, 추론이 그럴듯한지를 봅니다. 하지만 무작위 선택, 샘플링, 추천, 에이전트 의사결정처럼 출력 확률 자체가 의미를 갖는 상황에서는 다른 질문이 필요합니다.
모델이 “무작위로 고르라”는 요청을 받았을 때 정말 고르게 고르는가. 사용자가 원하는 확률분포가 있을 때 그 분포에 맞춰 생성하는가. 이것이 LLM의 확률적 보정(probabilistic calibration) 문제입니다.
확률 보정이란 무엇인가
확률 보정은 모델이 제시한 예측 확률과 실제 관측 빈도가 잘 맞는 상태를 뜻합니다. 예를 들어 모델이 어떤 사건을 “70% 확률”이라고 예측했다면, 비슷한 예측들 중 실제로도 대략 70%가 일어나야 보정이 잘 된 것입니다.1
이 개념은 신뢰할 수 있는 의사결정과 신뢰 형성에서 핵심 요소로 다뤄집니다.1 모델의 정답률이 높더라도 확률 감각이 어긋나 있으면, 사용자는 위험을 과소평가하거나 과대평가할 수 있습니다.
LLM에서는 문제가 조금 더 복잡합니다. LLM은 단순히 확률을 숫자로 말하는 데 그치지 않고, 실제 텍스트를 생성합니다. 그리고 점점 더 많은 사용 사례에서 “이 분포에 맞게 뽑아라”, “선택지를 고르게 섞어라”, “특정 비율로 샘플링하라”는 식의 무작위성 제약을 받습니다.2 그러나 언어모델의 생성 확률은 사용자가 원하는 목표 확률분포와 잘 맞지 않는 경우가 많습니다.2
예를 들어 기초 LLM에 임의의 요일을 고르게 고르라고 했을 때, 실제로는 특정 요일을 과도하게 자주 출력할 수 있습니다. 논문에서 언급된 사례처럼 “Wednesday”가 80% 수준으로 출력된다면, 이는 “무작위 선택”이라는 지시를 따랐다고 보기 어렵습니다.
이번 논문의 핵심: 보정은 훈련 가능한 능력인가
논문 Probabilistic Calibration Is a Trainable Capability in Language Models는 확률 보정을 단순한 후처리나 프롬프트 요령이 아니라, LLM이 훈련을 통해 배울 수 있는 능력으로 다룹니다.2
연구진은 모델에 수학적 분포에서 샘플링하도록 요구하는 합성 프롬프트를 만들고, 이를 이용해 언어모델을 미세조정했습니다.2 비교 대상은 네 개 모델 계열에 걸친 12개 언어모델이었습니다.2
핵심 실험은 Calibration Fine-Tuning입니다. 여기에는 두 가지 방식이 포함됐습니다.
소프트 타깃 방식: 원하는 출력분포를 트라이 기반 다음 토큰 타깃으로 변환합니다.2
하드 타깃 방식: 같은 목표분포에서 샘플링한 완성문을 학습 데이터로 사용합니다.2
두 방식 모두 목적은 같습니다. 모델이 단지 “그럴듯한 답”을 내는 데서 그치지 않고, 사용자가 요구한 확률 구조에 맞춰 생성하도록 만드는 것입니다.
왜 중요한가: 정답률만으로는 부족하다
이 연구의 실무적 의미는 분명합니다. LLM이 어떤 선택지를 출력했는지만 볼 것이 아니라, 장기적으로 그 선택지들이 어떤 분포로 나타나는지를 봐야 합니다.
논문에 따르면 두 미세조정 방식은 보류된 분포 계열과 보지 못한 파라미터 설정에서도 구조적 샘플링 충실도를 크게 개선했습니다.2 이는 모델이 특정 예시만 외운 것이 아니라, 일정 수준에서 “분포에 맞춰 생성하는 법”을 학습했을 가능성을 보여줍니다.
이 관점은 LLM 제품 평가에도 영향을 줍니다. 예를 들어 다음과 같은 경우에는 단일 응답 품질만으로는 충분하지 않습니다.
여러 후보를 공정하게 섞어야 하는 추천 시스템
확률적 시뮬레이션이나 샘플링을 포함하는 분석 도구
위험 수준에 따라 행동을 조절해야 하는 에이전트
특정 비율이나 균형을 유지해야 하는 콘텐츠 생성 시스템
이런 환경에서는 “좋은 답을 냈는가”와 함께 “원하는 확률분포를 지켰는가”를 평가해야 합니다.
실무자가 가져갈 판단 기준
LLM의 확률 보정을 다룰 때는 다음 세 가지를 점검할 필요가 있습니다.
첫째, 모델의 자신감 표현과 실제 빈도를 분리해서 봐야 합니다.
모델이 확신에 찬 문장을 생성한다고 해서 그 확률 판단이 잘 보정되어 있다는 뜻은 아닙니다. 신뢰도 추정과 보정은 LLM 연구에서 별도의 중요한 주제로 다뤄지고 있습니다.3
둘째, 프롬프트만으로 해결된다고 가정하면 위험합니다.
사용자가 “균등하게 골라라”라고 지시해도 모델의 생성 분포가 실제로 균등해진다는 보장은 없습니다. 이번 논문은 확률적 보정이 훈련 가능한 능력일 수 있음을 보여준다는 점에서 의미가 있습니다.2
셋째, 평가 지표에 출력 분포를 포함해야 합니다.
특히 무작위성, 균형, 리스크 제어가 중요한 제품에서는 개별 답변의 품질뿐 아니라 반복 실행했을 때의 분포적 행동을 측정해야 합니다.
결론적으로 LLM의 확률 보정은 “모델이 맞는 말을 하는가”를 넘어 “모델이 원하는 확률 구조에 맞게 행동하는가”의 문제입니다. 앞으로의 LLM 평가는 답의 품질뿐 아니라 확률의 품질까지 함께 봐야 합니다.
2[2605.11845] Probabilistic Calibration Is a Trainable Capability in Language Models
3[2311.08298] A Survey of Confidence Estimation and Calibration in Large Language Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.