선호도 학습과 정렬 기법 이해하기

SFT 이후에도 남는 문제

지도 파인튜닝(SFT)은 모델에게 "이런 입력에는 이런 형식으로 답하라"는 기본 행동을 가르친다. 하지만 실사용 품질은 여기서 끝나지 않는다. 같은 질문에 대해 문법적으로 맞는 답변이 여러 개 있을 수 있고, 그중 어떤 답변이 더 유용한지는 별도의 판단이 필요하다.

예를 들어 고객 문의에 답하는 모델이 있다고 하자. 두 답변 모두 틀리지는 않지만 하나는 짧고 차갑고, 다른 하나는 문제 원인을 짚고 다음 행동까지 안내한다. SFT 데이터는 보통 하나의 정답을 제공하지만, 실제 서비스에서는 "맞는 답"보다 "더 나은 답"이 중요하다. 선호도 학습은 바로 이 차이를 모델에 가르치는 과정이다.

선호도 데이터는 정답 데이터와 다르다

일반적인 SFT 데이터는 입력과 모범 답변의 쌍으로 구성된다. 반면 선호도 데이터는 같은 입력에 대한 여러 답변을 비교한다. 보통 선택된 답변(chosen)과 거절된 답변(rejected)의 형태를 가진다.

중요한 점은 rejected 답변이 반드시 완전히 틀린 답은 아니라는 것이다. 너무 장황하거나, 핵심을 놓치거나, 위험한 조언을 포함하거나, 사용자의 의도를 충분히 반영하지 못한 답일 수 있다. 즉 선호도 데이터는 모델에게 "무엇이 정답인가"보다 "어떤 답변이 더 바람직한가"를 알려준다.

좋은 선호도 데이터에는 명확한 비교 기준이 있어야 한다. 도움됨, 정확성, 간결함, 안전성, 어조, 형식 준수 같은 기준이 검수자마다 다르게 적용되면 모델은 일관된 방향을 배우기 어렵다. 따라서 선호도 학습을 시작하기 전에는 좋은 답변의 기준을 문서로 정리해야 한다.

RLHF의 기본 흐름

RLHF는 인간 피드백을 활용한 강화학습 방식이다. 흐름은 크게 세 단계로 볼 수 있다.

첫째, SFT로 기본 모델을 만든다. 이 모델은 지시를 따르고 원하는 형식으로 답하는 출발점이 된다.

둘째, 사람의 비교 평가로 보상모델을 학습한다. 보상모델은 여러 답변 중 어떤 답변이 더 좋은지 점수로 예측하는 모델이다. 사람의 판단을 직접 매번 사용할 수 없으므로, 그 판단을 흉내 내는 평가자를 하나 더 만드는 셈이다.

셋째, 정책 최적화를 수행한다. 여기서 정책은 실제 답변을 생성하는 모델을 뜻한다. 모델은 보상모델이 높게 평가할 답변을 만들도록 조정된다. 다만 무작정 보상 점수만 높이면 원래 모델의 안정성이 깨질 수 있으므로, 기존 모델에서 너무 멀어지지 않도록 제약을 둔다.

RLHF는 강력하지만 구현과 운영이 복잡하다. 보상모델을 따로 학습해야 하고, 강화학습 단계가 불안정할 수 있으며, 보상모델의 허점을 모델이 이용하는 문제도 생길 수 있다.

DPO와 ORPO: 더 단순한 선호도 학습

DPO는 복잡한 강화학습 절차를 줄이고, 선호도 데이터를 직접 사용해 모델을 조정하는 방법이다. 핵심은 chosen 답변의 확률은 높이고 rejected 답변의 확률은 낮추는 것이다. 별도의 보상모델을 만들지 않아도 되므로 실무에서는 RLHF보다 시작하기 쉽다.

DPO의 장점은 구조가 단순하고 학습 흐름이 SFT와 비슷하다는 점이다. 이미 비교 데이터가 있다면 비교적 빠르게 실험할 수 있다. 다만 데이터 품질에 민감하다. 선택된 답변과 거절된 답변의 차이가 모호하면 모델도 모호한 선호를 학습한다.

ORPO는 SFT와 선호도 학습을 더 가깝게 결합하려는 접근이다. 좋은 답변을 따라 하게 하면서 동시에 나쁜 답변과의 차이를 벌리는 방식으로 이해하면 쉽다. 별도 단계가 줄어들기 때문에 작은 팀이나 제한된 자원에서도 검토할 만하다.

도움됨, 정직함, 안전함의 충돌

정렬의 목표는 보통 도움됨, 정직함, 안전함으로 요약된다. 문제는 이 세 가지가 항상 같은 방향으로 움직이지 않는다는 점이다.

사용자에게 최대한 도움이 되려다 보면 확실하지 않은 내용을 단정할 수 있다. 정직함을 지나치게 강조하면 "모르겠습니다"만 반복하는 모델이 될 수 있다. 안전성을 강하게 적용하면 정상적인 질문에도 과도하게 거절하는 답변이 늘 수 있다.

따라서 정렬은 하나의 점수를 올리는 작업이 아니다. 상황별 우선순위를 정하는 작업이다. 의료, 법률, 금융처럼 위험이 큰 영역에서는 정직함과 안전성이 우선되어야 한다. 고객지원이나 문서 작성 보조처럼 생산성이 중요한 영역에서는 도움됨과 형식 준수가 더 중요할 수 있다.

실무에서는 평가셋을 나누어 관리하는 것이 좋다. 도움됨 평가, 사실성 평가, 안전성 평가, 거절 품질 평가를 따로 두고, 어느 한쪽이 개선될 때 다른 쪽이 무너지지 않는지 확인해야 한다. 선호도 학습의 목적은 모델을 더 말 잘하게 만드는 것이 아니라, 사용자가 신뢰할 수 있는 방향으로 행동을 조정하는 것이다.