PPO와 언어 모델 정렬

언어 모델도 하나의 정책이다

강화학습에서 정책은 상태를 보고 행동을 고르는 방법이었다. Grid World에서는 현재 칸을 보고 위, 아래, 왼쪽, 오른쪽 중 하나를 골랐다. CartPole에서는 막대의 위치와 속도를 보고 왼쪽이나 오른쪽으로 힘을 주었다. 그렇다면 언어 모델에서 상태와 행동은 무엇일까?

언어 모델의 상태는 지금까지 주어진 문맥이다. 사용자의 질문, 시스템 지시문, 이미 생성한 단어들이 모두 상태가 된다. 행동은 다음 토큰을 고르는 일이다. 토큰은 단어 조각이라고 생각하면 된다. 예를 들어 모델이 "강화학습은"이라는 문맥을 보고 다음에 "보상", "행동", "정책", "어려운" 같은 후보 토큰에 각각 확률을 부여한다면, 이 확률 분포가 바로 정책이다.

이 관점으로 보면 LLM은 매 순간 다음 토큰 행동을 선택하는 에이전트다. 한 번의 답변은 토큰 행동들이 이어진 긴 경로다. 첫 토큰을 고르고, 그 토큰이 문맥에 붙고, 다시 다음 토큰을 고르고, 이런 일이 반복된다. 우리가 최종적으로 보는 것은 하나의 문장이지만, 강화학습의 눈으로 보면 수십 개 또는 수백 개의 행동이 이어진 에피소드다.

RLHF에서 PPO가 업데이트하는 대상은 바로 이 다음 토큰 확률 분포다. 더 정확히 말하면, 특정 문맥에서 어떤 토큰을 더 자주 선택하게 할지, 어떤 토큰은 덜 선택하게 할지를 조정한다. 사람이 선호할 만한 답변을 만든 토큰 경로는 조금 더 가능성이 높아지고, 보상 모델이 낮게 평가한 답변 경로는 가능성이 낮아진다.

여기서 중요한 점은 PPO가 언어 모델에게 완전히 새로운 언어를 가르치는 것이 아니라는 사실이다. 대부분의 경우 PPO 단계는 이미 사전학습과 지도 미세조정을 거친 모델에서 시작한다. 이 모델은 문법, 사실 지식, 대화 형식, 기본적인 답변 능력을 어느 정도 갖고 있다. PPO는 그 위에서 "어떤 답변 방식이 더 선호되는가"를 조심스럽게 조정한다. 비유하자면, 말을 처음 배우는 아이를 훈련시키는 것이 아니라 이미 말을 잘하는 사람에게 더 친절하고 신중한 답변 습관을 붙이는 과정에 가깝다.

답변 하나는 긴 행동 경로다

언어 모델의 강화학습은 처음 보면 이상하게 느껴질 수 있다. Grid World에서는 한 칸 움직일 때마다 보상을 줄 수 있었다. 그런데 언어 모델의 답변에서는 보통 마지막에 전체 답변을 보고 평가한다. 답변이 끝난 뒤에야 "이 답변은 좋다" 또는 "이 답변은 별로다"라는 점수가 나온다.

예를 들어 사용자가 "초보자에게 PPO를 쉽게 설명해 줘"라고 물었다고 해 보자. 모델은 다음과 같은 답변을 생성할 수 있다.

"PPO는 강화학습에서 정책을 너무 급격히 바꾸지 않도록 막아 주는 방법입니다. 좋은 방향으로는 움직이되, 한 번에 너무 멀리 가지 않게 제한합니다."

보상 모델은 이 답변을 보고 높은 점수를 줄 수 있다. 설명이 간단하고, 핵심이 살아 있고, 초보자에게 적합하기 때문이다. 하지만 강화학습 알고리즘 입장에서는 곧바로 어려운 질문이 생긴다. 이 높은 점수는 어느 토큰 덕분일까? "급격히"라는 단어가 좋았을까? "좋은 방향으로는 움직이되"라는 표현이 좋았을까? 아니면 전체 문장 흐름이 좋았을까?

이것이 언어 모델 RLHF의 신용 할당 문제다. 신용 할당은 최종 결과에 영향을 준 행동들에게 공로와 책임을 나누어 주는 일이다. 답변 전체가 좋았다고 해서 모든 토큰이 똑같이 훌륭한 것은 아니다. 반대로 답변 전체가 나빴다고 해서 모든 토큰이 잘못된 것도 아니다. PPO는 이 복잡한 문제를 완벽히 해결하지는 못하지만, 가치 함수와 Advantage를 이용해 "이 생성 경로가 기대보다 좋았는지"를 추정한다.

여기서 다시 이전 장들의 개념이 돌아온다. 정책은 다음 토큰을 고르는 모델이다. 가치 함수는 현재 문맥에서 앞으로 얻을 보상이 어느 정도일지 예측한다. Advantage는 실제 결과가 그 예측보다 얼마나 좋았는지 또는 나빴는지를 알려 준다. 언어 모델의 PPO도 결국 같은 뼈대를 사용한다.

보상 모델 점수만 믿으면 위험하다

RLHF의 기본 흐름에서 우리는 보상 모델을 배웠다. 사람에게 여러 답변을 비교하게 하고, 어떤 답변이 더 나은지 선호 데이터를 모은다. 그런 다음 보상 모델은 새로운 답변을 보고 사람이 좋아할 만한 정도를 점수로 예측한다.

그렇다면 간단히 생각할 수 있다. "보상 모델 점수를 높이면 좋은 모델이 되는 것 아닌가?"

안타깝게도 그렇게 단순하지 않다. 보상 모델은 사람의 선호를 완벽하게 담은 심판이 아니다. 제한된 데이터로 학습한 근사 모델이다. 에이전트가 보상 모델 점수만 집요하게 높이도록 훈련되면, 실제 인간이 좋아하는 답변을 만드는 대신 보상 모델의 약점을 파고들 수 있다.

이 현상은 앞에서 보상 해킹이라고 불렀다. 게임에서 점수만 높이려고 이상한 행동을 반복하는 에이전트처럼, 언어 모델도 보상 모델이 좋아하는 표면적 패턴을 과하게 흉내 낼 수 있다. 예를 들어 지나치게 장황해지거나, 확신에 찬 어조를 남발하거나, 실제 내용은 빈약한데 친절한 문장만 반복하는 식이다. 겉보기에는 그럴듯하지만 사용자가 진짜 원하는 답변과는 멀어질 수 있다.

그래서 RLHF에서 PPO는 보상 모델 점수 하나만 보고 달리지 않는다. 보상 점수와 함께 중요한 제약을 둔다. 바로 기존 모델에서 너무 멀어지지 말라는 제약이다.

기준 모델과 KL 제약

RLHF에서 자주 등장하는 모델이 기준 모델이다. 보통 PPO를 시작하기 전의 지도 미세조정 모델을 얼려서 기준 모델로 둔다. 얼린다는 것은 학습 중에 파라미터를 바꾸지 않는다는 뜻이다. 이 기준 모델은 "원래 이 모델이 자연스럽게 말하던 방식"을 대표한다.

PPO로 학습 중인 정책 모델은 보상 모델 점수를 높이려 한다. 하지만 동시에 기준 모델과 너무 다른 확률 분포를 만들면 벌점을 받는다. 이때 쓰이는 대표적인 개념이 KL 발산이다. KL 발산은 두 확률 분포가 얼마나 달라졌는지 재는 척도라고 생각하면 된다.

언어 모델에서는 같은 문맥에서 기준 모델이 다음 토큰들에 부여한 확률과 현재 정책 모델이 부여한 확률을 비교할 수 있다. 만약 현재 모델이 기준 모델과 비슷한 후보들을 비슷한 확률로 고른다면 KL 값은 작다. 반대로 기준 모델은 거의 고르지 않던 이상한 토큰을 현재 모델이 강하게 밀기 시작하면 KL 값이 커진다.

RLHF의 보상은 보통 다음과 같은 느낌으로 구성된다.

최종 보상 = 보상 모델 점수 - KL 벌점

이 식은 매우 중요한 직관을 담고 있다. 모델은 사람이 좋아할 만한 답변을 만들수록 높은 점수를 받는다. 하지만 기존 언어 능력과 너무 멀어질수록 벌점을 받는다. 결국 PPO는 "더 유용한 답변을 하라"와 "너무 이상해지지는 말라"라는 두 압력을 동시에 받는다.

이 균형이 언어 모델 정렬에서 핵심이다. 정렬은 모델이 인간의 의도, 선호, 안전 기준에 더 잘 맞도록 행동을 조정하는 일이다. 하지만 정렬을 한다고 해서 모델의 기본 언어 능력을 망치면 안 된다. 친절해졌지만 사실을 자주 틀린다거나, 안전해졌지만 모든 질문에 무의미한 거절만 한다면 좋은 정렬이라고 보기 어렵다. KL 제약은 PPO가 보상을 향해 움직이되, 출발점에서 너무 멀리 튀어나가지 않게 붙잡아 주는 안전벨트다.

PPO는 왜 조심스럽게 움직이는가

PPO의 핵심은 좋은 방향으로 가되 한 번에 너무 멀리 가지 않는 것이다. 이전 장에서 우리는 PPO가 확률 비율과 클리핑을 사용한다고 배웠다. 언어 모델에서도 이 생각은 그대로 적용된다.

모델이 어떤 답변을 생성했다고 하자. 그 답변은 여러 토큰으로 이루어져 있다. 각 토큰은 생성 당시의 이전 정책이 부여한 확률에 따라 선택되었다. PPO는 학습할 때 현재 정책이 그 토큰들에 부여하는 확률이 이전 정책에 비해 얼마나 달라졌는지 본다.

어떤 답변 경로의 Advantage가 양수라면, 그 경로는 기대보다 좋았다는 뜻이다. 그러면 PPO는 그 경로에 포함된 토큰 선택들의 확률을 높이고 싶어 한다. 반대로 Advantage가 음수라면, 그 경로는 기대보다 나빴다는 뜻이다. 그러면 해당 토큰 선택들의 확률을 낮추려 한다.

하지만 여기서도 무작정 크게 바꾸지는 않는다. 좋은 답변이 한 번 나왔다고 해서 그 답변의 모든 표현을 지나치게 밀어 주면 모델은 금세 편향된다. 예를 들어 어떤 긴 설명이 우연히 높은 보상을 받았다고 해서, 이후 모든 질문에 길고 장황한 답변만 하게 만들면 곤란하다. PPO의 클리핑은 이런 과격한 변화를 제한한다. 확률을 높이거나 낮추되, 정해진 범위를 넘어서는 이득은 인정하지 않는다.

이것은 운전 연습과 비슷하다. 오른쪽으로 조금 틀어야 한다는 피드백을 받았다고 해서 핸들을 끝까지 꺾으면 차가 도로 밖으로 나간다. PPO는 "방향은 맞지만 너무 많이 꺾지는 마"라고 말하는 알고리즘이다. 언어 모델 정렬에서는 이 조심스러움이 특히 중요하다. 모델의 출력은 고차원이고, 답변 하나에는 수많은 토큰 선택이 들어 있으며, 작은 확률 변화가 예상치 못한 말투와 행동 변화로 이어질 수 있기 때문이다.

Advantage는 기대보다 좋았는지를 알려 준다

RLHF에서 Advantage는 조금 추상적으로 느껴질 수 있다. 그래서 하나의 대화 예를 생각해 보자.

사용자가 "비전공자에게 강화학습을 설명해 줘"라고 물었다. 현재 모델은 세 가지 답변을 생성해 볼 수 있다. 첫 번째 답변은 너무 수식 중심이라 어렵다. 두 번째 답변은 게임 비유를 들어 쉽게 설명한다. 세 번째 답변은 친절하지만 핵심 개념이 빠져 있다. 보상 모델은 두 번째 답변에 가장 높은 점수를 줄 가능성이 크다.

이때 가치 모델은 각 생성 상태에서 "이 흐름으로 계속 답하면 최종 보상이 어느 정도 나올까?"를 예측한다. 그런데 실제로 답변을 끝까지 만들어 보니 보상 모델 점수가 예상보다 높았다면 Advantage는 양수가 된다. 이 경로는 기대보다 좋은 선택이었다는 뜻이다. 반대로 예상보다 낮은 점수가 나오면 Advantage는 음수가 된다.

언어 모델의 답변 생성은 토큰 단위로 진행되지만, 사람의 평가는 대개 답변 전체를 보고 내려진다. Advantage는 이 둘 사이를 연결하는 신호다. "이 문맥에서 이런 식으로 이어 간 것은 평균적인 기대보다 좋았다" 또는 "이 흐름은 기대보다 나빴다"라고 알려 준다.

PPO는 이 Advantage를 사용해 정책을 업데이트한다. 양의 Advantage를 가진 생성 경로는 조금 더 가능성 있게 만든다. 음의 Advantage를 가진 생성 경로는 조금 덜 가능성 있게 만든다. 여기에 클리핑과 KL 제약이 더해져, 업데이트는 보상을 향해 움직이면서도 과격해지지 않는다.

조금 더 구체적으로 말하면 RLHF의 PPO 학습 안에는 보통 정책 모델과 가치 모델이 함께 있다. 정책 모델은 다음 토큰 확률을 낸다. 가치 모델은 현재 문맥에서 기대 보상을 예측한다. 보상 모델은 완성된 답변을 평가한다. 기준 모델은 기존 언어 분포에서 너무 멀어졌는지 비교 대상이 된다. 이 네 역할이 함께 움직이며 언어 모델을 조정한다.

한 번의 PPO 학습 흐름

RLHF에서 PPO가 돌아가는 장면을 천천히 따라가 보자. 먼저 프롬프트 묶음을 준비한다. 이 프롬프트들은 사용자의 질문일 수도 있고, 안전성 평가용 지시문일 수도 있고, 일반적인 대화 상황일 수도 있다.

현재 정책 모델은 각 프롬프트에 대해 답변을 생성한다. 이때 모델은 완전히 결정적으로 답하지 않고 확률적으로 토큰을 샘플링할 수 있다. 그래야 다양한 답변 경로를 경험할 수 있다. 같은 질문에도 조금씩 다른 답변이 나올 수 있고, 그중 어떤 답변이 더 높은 보상을 받는지 비교할 수 있다.

답변이 완성되면 보상 모델이 점수를 준다. 동시에 기준 모델과 현재 정책 모델의 토큰 확률 차이를 계산해 KL 벌점을 구한다. 보상 모델 점수에서 KL 벌점을 뺀 값이 강화학습에서 사용할 보상이 된다. 이 보상은 "좋은 답변인가?"와 "기존 모델에서 너무 벗어나지 않았는가?"를 함께 반영한다.

그다음 가치 모델이 각 생성 단계의 기대 보상을 추정하고, 실제 얻은 보상과 비교해 Advantage를 계산한다. Advantage가 양수인 부분은 기대보다 좋았던 흐름이고, 음수인 부분은 기대보다 나빴던 흐름이다.

마지막으로 PPO 업데이트가 일어난다. 정책 모델은 양의 Advantage를 가진 토큰 선택의 확률을 조금 높이고, 음의 Advantage를 가진 토큰 선택의 확률을 조금 낮춘다. 단, 확률 비율이 너무 크게 바뀌면 클리핑으로 제한한다. 또한 KL 벌점이 계속 작동하므로, 모델은 보상 모델을 속이기 위해 이상한 방향으로 급격히 이동하기 어렵다.

이 흐름을 한 문장으로 요약하면 이렇다. PPO는 언어 모델이 더 높은 선호 보상을 받는 답변을 하도록 정책을 조정하되, 기존 모델의 언어 능력과 분포에서 너무 멀어지지 않도록 붙잡는다.

정렬은 능력을 덮어쓰는 일이 아니다

LLM 정렬을 이야기할 때 흔히 "모델을 착하게 만든다"는 식의 표현을 쓴다. 하지만 실제로는 훨씬 섬세한 작업이다. 모델이 무조건 공손한 말만 하게 만드는 것이 목표가 아니다. 사용자의 의도를 이해하고, 필요한 정보를 제공하고, 모르는 것은 모른다고 말하고, 위험한 요청에는 적절히 대응하도록 행동 경향을 조정하는 것이 목표다.

PPO는 이 행동 경향을 바꾸는 도구다. 사전학습은 언어와 지식의 넓은 바다를 익히는 과정에 가깝다. 지도 미세조정은 사람이 작성한 좋은 답변 예시를 따라 하게 만드는 과정이다. RLHF의 PPO 단계는 여러 가능한 답변 중 인간 선호에 더 잘 맞는 답변 쪽으로 확률을 밀어 주는 과정이다.

중요한 것은 PPO가 기존 능력을 완전히 덮어쓰면 안 된다는 점이다. 언어 모델은 사전학습과 지도 미세조정에서 이미 많은 것을 배웠다. 문장을 자연스럽게 만드는 능력, 질문 의도를 파악하는 능력, 여러 분야의 지식을 연결하는 능력이 그 안에 들어 있다. PPO가 보상만 좇아 너무 강하게 작동하면 이 능력들이 손상될 수 있다.

그래서 RLHF에서 PPO는 늘 균형의 기술이다. 더 도움이 되도록 바꾸되, 지나치게 바꾸지 않는다. 더 안전하게 만들되, 모든 답변을 회피하게 만들지 않는다. 더 친절하게 만들되, 장황하고 빈말 많은 답변으로 흐르지 않게 한다. 이 균형을 잘 잡을 때 PPO는 언어 모델을 실제 사용자에게 더 적합한 대화 파트너로 다듬을 수 있다.

PPO가 강력한 이유

PPO가 RLHF에서 널리 사용된 이유는 직관적으로 이해할 수 있다. 언어 모델의 답변 품질은 단순한 정답 데이터만으로 표현하기 어렵다. 같은 질문에도 여러 좋은 답변이 있을 수 있고, 상황에 따라 더 적절한 말투와 깊이가 달라진다. "정답 문장 하나"를 맞히는 방식으로는 이런 미묘한 선호를 담기 어렵다.

PPO는 답변을 실제로 생성해 보고, 그 결과가 얼마나 좋은지 평가한 뒤, 더 나은 답변이 나오도록 정책을 바꾼다. 이것은 강화학습의 기본 정신과 잘 맞는다. 정답 라벨이 아니라 보상을 통해 행동을 조정하는 것이다.

또 PPO는 기존 정책에서 너무 멀어지지 않게 만드는 장치를 갖고 있다. 언어 모델처럼 거대한 정책을 다룰 때 이 안정성은 중요하다. 작은 변화가 출력 전체에 큰 영향을 줄 수 있기 때문이다. Policy Gradient를 아무 제한 없이 적용하면 학습이 흔들리기 쉽지만, PPO는 클리핑과 KL 제약을 통해 비교적 조심스럽게 업데이트한다.

무엇보다 PPO는 보상 모델, 가치 모델, 기준 모델을 함께 엮어 LLM 정렬 문제를 강화학습 문제로 바꾸는 실용적인 다리 역할을 한다. 사람의 선호라는 흐릿한 신호를 보상으로 만들고, 그 보상을 토큰 선택 정책에 반영한다. 이것이 PPO가 RLHF에서 중요한 위치를 차지한 이유다.

그래도 PPO는 비싸고 어렵다

하지만 PPO가 강력하다고 해서 편한 도구라는 뜻은 아니다. RLHF에서 PPO를 제대로 돌리는 일은 비용이 크고 안정성 문제도 많다.

첫째, 답변을 많이 생성해야 한다. PPO는 현재 정책이 직접 답변을 만들어 보고, 그 답변을 보상 모델로 평가한 뒤 학습한다. 대형 언어 모델이 긴 답변을 대량으로 생성하는 과정은 계산 비용이 매우 크다.

둘째, 여러 모델이 함께 필요하다. 정책 모델, 기준 모델, 보상 모델, 가치 모델이 동시에 등장한다. 구현에 따라 일부를 공유하거나 분리할 수 있지만, 개념적으로는 여러 역할이 얽혀 있다. 이 모델들을 메모리에 올리고, 토큰 확률을 계산하고, 보상과 KL을 구하고, 다시 정책을 업데이트하는 과정은 단순한 지도학습보다 훨씬 복잡하다.

셋째, 학습이 민감하다. KL 벌점의 세기, 학습률, 배치 크기, 샘플링 온도, 보상 스케일, 클리핑 범위 같은 설정이 결과에 큰 영향을 준다. KL 벌점이 너무 약하면 모델이 보상 모델의 허점을 파고들 수 있다. 반대로 너무 강하면 모델이 거의 변하지 않아 정렬 효과가 작다. 학습률이 너무 크면 정책이 불안정해지고, 너무 작으면 비용만 많이 들고 변화가 느리다.

넷째, 보상 모델 자체가 완벽하지 않다. PPO는 보상 모델이 주는 신호를 따라 움직인다. 따라서 보상 모델이 편향되어 있거나 허점을 갖고 있으면 정책도 그 방향으로 끌려간다. 보상 모델의 점수가 올라갔다고 해서 실제 사용자 만족도가 항상 올라간다고 보장할 수 없다.

이런 이유로 RLHF의 PPO는 실험, 평가, 모니터링이 함께 가야 한다. 평균 보상만 보는 것으로는 부족하다. 실제 답변을 사람이 읽어 보고, 안전성 테스트를 하고, 다양한 질문 유형에서 품질이 유지되는지 확인해야 한다. 강화학습 모델 평가에서 배웠듯이 숫자 하나가 모델의 행동 전체를 대표해 주지는 않는다.

보상 최적화와 인간 선호 사이의 거리

PPO는 보상 모델 점수를 높이는 알고리즘이다. 하지만 우리가 진짜 원하는 것은 보상 모델 점수 그 자체가 아니다. 우리가 원하는 것은 사용자가 실제로 더 신뢰하고, 더 도움을 받고, 더 안전하게 사용할 수 있는 모델이다. 보상 모델은 그 목표를 향한 대리 신호일 뿐이다.

이 차이를 잊으면 위험하다. 에이전트는 우리가 준 보상을 최적화한다. 그런데 보상이 진짜 목표를 완벽하게 표현하지 못하면, 에이전트는 우리가 의도하지 않은 방식으로 보상을 높일 수 있다. 이것은 작은 게임 환경에서도 나타났고, 언어 모델에서도 나타날 수 있다.

따라서 PPO 기반 RLHF에서는 계속 질문해야 한다. 모델이 정말 더 좋아졌는가? 아니면 보상 모델이 좋아하는 말투만 배웠는가? 어려운 질문에서 사실성을 유지하는가? 안전 관련 질문에서 과도하게 회피하지는 않는가? 사용자의 의도를 잘 따르면서도 필요한 경계를 지키는가?

정렬은 한 번의 PPO 학습으로 끝나는 이벤트가 아니다. 데이터를 모으고, 보상 모델을 개선하고, 정책을 조정하고, 다시 평가하는 반복 과정이다. 강화학습의 기본 루프가 여기서도 살아 있다. 상태를 보고, 행동을 선택하고, 보상을 받고, 더 나은 전략을 배운다. 다만 무대가 격자판에서 인간 언어의 세계로 옮겨 왔을 뿐이다.

작은 예로 다시 보기

마지막으로 아주 단순한 예로 PPO 기반 RLHF를 다시 정리해 보자. 사용자가 "초등학생에게 블랙홀을 설명해 줘"라고 물었다.

기준 모델은 다음과 같이 답할 수 있다.

"블랙홀은 중력이 매우 강해서 빛조차 빠져나올 수 없는 천체입니다."

이 답변은 정확하지만 초등학생에게는 조금 딱딱할 수 있다. PPO 학습 중인 정책 모델은 여러 답변을 생성한다. 그중 하나는 이렇게 말한다.

"블랙홀은 우주에 있는 아주 힘센 청소기처럼 생각할 수 있어요. 가까이 온 물질과 빛도 빠져나오기 어려울 만큼 중력이 강한 곳이에요."

보상 모델은 이 답변에 높은 점수를 줄 수 있다. 초등학생을 고려해 비유를 사용했고, 핵심 의미도 어느 정도 유지했기 때문이다. 하지만 만약 모델이 "우주의 마법 청소기예요!"처럼 과하게 비유만 하고 과학적 의미를 흐리면, 좋은 답변이라고 보기 어렵다. 그래서 KL 제약과 보상 모델의 균형이 필요하다. 기존 모델의 정확한 설명 능력에서 너무 멀어지지 않으면서, 사용자에게 더 적합한 표현을 찾도록 유도해야 한다.

이 예에서 Advantage가 양수라면 PPO는 쉬운 비유와 친절한 설명을 만드는 토큰 경로의 확률을 조금 높인다. 하지만 클리핑은 그 변화를 과하게 만들지 않는다. KL 벌점은 모델이 기준 모델의 언어 분포에서 너무 멀리 벗어나지 않게 잡아 준다. 결과적으로 모델은 "정확하지만 딱딱한 답변"에서 "정확하면서도 사용자에게 맞춘 답변"으로 조금씩 이동한다.

이것이 PPO가 언어 모델 정렬에서 하는 일이다. 정답을 외우게 하는 것이 아니라, 더 선호되는 답변 행동을 하도록 확률을 조정한다.

다음 단계: PPO 이후의 흐름

PPO는 RLHF를 이해하는 데 매우 중요한 알고리즘이다. LLM을 강화학습의 관점에서 바라보게 해 주고, 인간 선호를 보상으로 바꾸어 정책을 조정하는 대표적인 방법을 보여 준다. 하지만 PPO는 비용이 크고, 구현이 복잡하며, 안정적으로 운영하기 어렵다.

그래서 최근의 선호 학습에서는 더 단순한 방법들도 주목받는다. 꼭 보상 모델을 따로 만들고, PPO로 긴 강화학습 루프를 돌려야만 할까? 사람이 선택한 답변과 선택하지 않은 답변의 차이를 직접 이용해 모델을 학습할 수는 없을까?

다음 장에서 살펴볼 DPO는 바로 이 질문에서 출발한다. PPO가 보상 모델과 강화학습 업데이트를 통해 선호를 반영했다면, DPO는 선호 데이터 자체를 더 직접적으로 사용하려 한다. PPO가 "보상을 받고 정책을 조심스럽게 움직이는 길"이라면, DPO는 "선호된 답변의 확률을 높이고 선호되지 않은 답변의 확률을 낮추는 더 짧은 길"에 가깝다.

이제 우리는 강화학습이 LLM 정렬에 어떻게 들어오는지 보았다. 다음 장에서는 그 길을 조금 더 단순하게 만들려는 시도, DPO와 선호 최적화의 등장을 살펴보자.