Policy Gradient

Q값을 고르는 대신 정책을 직접 바꾼다

앞 장에서 우리는 가치 기반 방법의 한계를 보았다. Q-learning과 DQN은 기본적으로 이렇게 생각한다.

"각 행동이 얼마나 좋은지 점수를 매기자. 그리고 가장 점수가 높은 행동을 고르자."

격자 세계에서 위, 아래, 왼쪽, 오른쪽 중 하나를 고르는 문제라면 이 방식은 꽤 자연스럽다. 각 행동의 Q값을 계산하고, 그중 가장 큰 값을 선택하면 된다. 하지만 세상에는 그렇게 깔끔하게 나뉘지 않는 행동이 많다.

로봇 팔을 예로 들어 보자. 로봇 팔은 "왼쪽" 또는 "오른쪽"만 선택하지 않는다. 관절을 17.3도 돌릴 수도 있고, 힘을 0.42만큼 줄 수도 있으며, 손목을 아주 미세하게 비틀 수도 있다. 자율주행차라면 핸들을 몇 도 꺾을지, 가속 페달을 얼마나 밟을지 결정해야 한다. 이런 행동은 셀 수 있는 버튼 목록이라기보다 연속적인 숫자에 가깝다.

언어 모델도 비슷하다. 다음 단어 하나를 고르는 문제처럼 보이지만, 실제로는 수많은 후보 토큰 중에서 어떤 토큰을 얼마나 그럴듯하게 볼지 확률분포를 만들어야 한다. 늘 가장 확률이 높은 단어만 고르면 답변이 딱딱하고 반복적일 수 있다. 반대로 너무 무작위로 고르면 엉뚱한 말이 나온다.

이때 등장하는 생각이 Policy Gradient, 즉 정책 경사 방법이다.

정책 경사 방법은 "행동의 점수를 따로 저장한 뒤 최고점을 고르자"가 아니다. 대신 이렇게 말한다.

"정책 자체를 학습하자. 좋은 결과를 만든 행동은 앞으로 더 자주 하게 만들고, 나쁜 결과를 만든 행동은 덜 하게 만들자."

여기서 정책은 에이전트의 행동 습관이다. 같은 상태를 봤을 때 어떤 행동을 얼마나 자주 선택할지를 정하는 규칙이다. 정책 기반 방법은 이 규칙을 직접 조정한다.

정책도 신경망이 될 수 있다

딥러닝을 사용하는 정책 기반 강화학습에서는 정책을 보통 신경망으로 표현한다. 이것을 정책 신경망이라고 부를 수 있다.

구조는 단순하게 생각하면 된다. 상태를 입력으로 넣으면, 신경망은 행동에 대한 확률을 출력한다.

예를 들어 어떤 게임 캐릭터가 네 가지 행동을 할 수 있다고 하자.

• 위로 이동

• 아래로 이동

• 왼쪽으로 이동

• 오른쪽으로 이동

현재 상태가 입력되면 정책 신경망은 다음과 같은 값을 출력할 수 있다.

위: 0.10
아래: 0.05
왼쪽: 0.25
오른쪽: 0.60

이 값은 "오른쪽이 정답이다"라는 뜻이 아니다. "현재 정책은 이 상태에서 오른쪽을 60% 확률로 선택하려 한다"는 뜻이다. 실제 행동은 이 확률분포에서 하나를 뽑아 결정할 수 있다.

이 점이 중요하다. 정책 기반 방법의 정책은 보통 확률적 정책이다. 같은 상태에서도 매번 같은 행동만 하지 않고, 확률에 따라 여러 행동을 시도할 수 있다.

처음에는 정책이 서툴다. 어떤 상태에서 왼쪽으로 가야 하는지, 오른쪽으로 가야 하는지 잘 모른다. 그래서 여러 행동을 해 본다. 그러다 어떤 행동들이 좋은 결과로 이어졌는지 경험을 통해 알게 된다. 학습이 진행되면 좋은 행동의 확률은 점점 커지고, 나쁜 행동의 확률은 점점 작아진다.

이 과정을 마치 아이가 자전거를 배우는 장면처럼 떠올려 보자. 처음에는 몸을 너무 왼쪽으로 기울이기도 하고, 핸들을 과하게 꺾기도 한다. 넘어지면 그 행동은 줄어든다. 균형을 잘 잡고 앞으로 나아간 움직임은 반복된다. 아이는 머릿속에 "핸들 각도별 Q-table"을 저장하는 것이 아니다. 몸 전체의 조정 방식을 조금씩 바꾼다. 정책 경사 방법도 비슷하다. 행동 선택 방식 전체를 직접 바꾼다.

좋은 행동의 확률을 올린다는 말

정책 경사 방법의 핵심 문장은 아주 짧다.

좋은 결과로 이어진 행동의 확률은 높이고, 나쁜 결과로 이어진 행동의 확률은 낮춘다.

이 문장을 조금 더 구체적으로 풀어 보자.

어떤 에이전트가 미로에서 출발해 목표 지점까지 가야 한다고 하자. 에피소드가 시작된다. 에이전트는 정책에 따라 행동을 선택한다. 오른쪽으로 가고, 위로 가고, 다시 오른쪽으로 간다. 그러다 목표에 도착해 큰 보상을 받았다.

그러면 에이전트는 지나온 행동들을 돌아본다.

"아, 이 상태에서 오른쪽으로 간 것이 나쁘지 않았구나."

"저 상태에서 위로 간 것도 결과적으로 목표 도착에 기여했구나."

물론 모든 행동이 똑같이 좋았다고 단정할 수는 없다. 어떤 행동은 우연히 좋은 결과에 묻어갔을 수도 있다. 하지만 가장 기본적인 정책 경사 방법에서는 일단 에피소드 전체 결과를 보고, 그 결과가 좋았다면 그 에피소드에서 선택한 행동들의 확률을 높인다.

반대로 에피소드가 나쁜 결과로 끝났다면 어떻게 할까? 함정에 빠졌거나, 오래 헤매다가 시간 초과로 끝났다면, 그 과정에서 선택한 행동들의 확률을 낮추는 방향으로 정책을 조정한다.

여기서 중요한 것은 정책이 "행동 하나하나의 점수표"를 직접 들고 있지 않아도 된다는 점이다. 정책 신경망의 파라미터를 바꾸면, 상태에서 행동 확률을 만드는 방식이 바뀐다. 즉, 신경망의 가중치를 조금 조정해서 좋은 행동이 더 자주 나오도록 만드는 것이다.

경사라는 단어가 들어가는 이유

Policy Gradient에서 Gradient는 경사, 즉 기울기를 뜻한다. 딥러닝에서 이미 익숙한 개념이다. 손실 함수를 줄이기 위해 파라미터를 어느 방향으로 움직여야 하는지 알려 주는 것이 경사다.

다만 강화학습에서는 목표가 조금 다르게 보인다. 지도학습에서는 보통 정답과 예측의 차이를 줄인다. 이미지 분류라면 "이 사진은 고양이"라는 정답이 있고, 모델이 고양이라고 맞히도록 손실을 줄인다.

강화학습에는 그런 정답 라벨이 없다. 대신 보상이 있다. 그래서 정책 경사 방법의 목표는 이렇게 표현할 수 있다.

"정책이 만들어 내는 기대 누적 보상을 최대화하자."

기대 누적 보상이란, 현재 정책으로 여러 번 플레이했을 때 평균적으로 얻을 장기 보상을 말한다. 정책이 좋아지면 평균 보상이 올라간다. 정책이 나빠지면 평균 보상이 내려간다.

그러면 우리는 정책 신경망의 파라미터를 어느 방향으로 바꿔야 평균 보상이 올라가는지 알고 싶다. 그 방향을 알려 주는 것이 정책 경사다.

간단히 말하면 이렇다.

정책 파라미터를 조금 바꿨을 때
좋은 에피소드가 더 자주 나오게 하는 방향은 어디인가?

그 방향으로 정책을 조금씩 업데이트한다. 한 번에 크게 바꾸면 불안정해질 수 있으므로, 보통 작은 학습률로 천천히 움직인다.

로그 확률과 보상의 곱

정책 경사 방법을 처음 만날 때 가장 낯설게 느껴지는 표현이 있다.

log π(a|s)

여기서 π는 정책을 뜻한다. π(a|s)는 상태 s에서 행동 a를 선택할 확률이다. 즉, "현재 정책이 이 상태에서 이 행동을 얼마나 선택하고 싶어 했는가"를 나타낸다.

log π(a|s)는 그 확률에 로그를 취한 값이다. 왜 하필 로그를 쓰는지 깊은 수학으로 들어가지는 않더라도, 직관은 잡을 수 있다. 딥러닝에서는 확률을 직접 다루는 것보다 로그 확률을 다루면 계산이 편하고 안정적인 경우가 많다. 특히 여러 시점의 행동 확률을 곱해서 에피소드 전체 확률을 계산해야 할 때, 로그를 사용하면 곱셈이 덧셈으로 바뀐다.

정책 경사 방법의 업데이트는 직관적으로 다음과 비슷하다.

좋은 보상을 얻었다면:
    선택했던 행동의 log 확률을 높인다.

나쁜 보상을 얻었다면:
    선택했던 행동의 log 확률을 낮춘다.

손실 함수 형태로 쓰면 다음처럼 볼 수 있다.

loss = - log π(a|s) × 보상

여기서 보상이 크면, 그 행동의 확률을 높이는 압력이 커진다. 손실 앞에 마이너스가 붙어 있는 이유는 딥러닝 학습이 보통 손실을 "줄이는" 방식으로 구현되기 때문이다. 보상이 좋은 행동은 log 확률이 커지는 방향으로 움직여야 하므로, 음수 부호를 붙여 손실 최소화가 곧 보상 최대화처럼 작동하게 만든다.

물론 실제 알고리즘에서는 단순한 즉시 보상 하나만 쓰지 않고, 그 시점 이후에 받을 누적 보상을 사용한다. 어떤 행동이 지금 당장 보상을 주지 않았더라도 나중에 큰 성공으로 이어질 수 있기 때문이다. 앞에서 배운 장기 보상의 관점이 여기서 다시 등장한다.

REINFORCE: 에피소드가 끝난 뒤 배우기

정책 경사 방법의 가장 기본적인 알고리즘 중 하나가 REINFORCE다. 이름은 조금 거창하지만, 아이디어는 꽤 직관적이다.

REINFORCE는 하나의 에피소드를 끝까지 실행한 뒤, 그 에피소드에서 얻은 누적 보상을 바탕으로 정책을 업데이트한다.

흐름은 다음과 같다.

• 현재 정책으로 에피소드를 진행한다.

• 각 시점에서 상태, 행동, 보상을 기록한다.

• 에피소드가 끝나면 각 행동 이후에 얻은 누적 보상을 계산한다.

• 누적 보상이 큰 행동은 더 자주 선택되도록 정책을 업데이트한다.

• 누적 보상이 작거나 나쁜 행동은 덜 선택되도록 정책을 업데이트한다.

예를 들어 게임에서 에이전트가 20번의 행동 끝에 보스 몬스터를 물리치고 큰 보상을 받았다고 하자. REINFORCE는 그 에피소드의 행동 기록을 보고, 성공으로 이어진 행동들의 확률을 높인다.

물론 여기에는 조심해야 할 점이 있다. 첫 번째 행동이 정말로 성공에 결정적이었는지, 아니면 중간에 우연히 좋은 선택을 해서 성공한 것인지는 알기 어렵다. 에피소드 전체 결과만 보고 모든 행동을 평가하면 노이즈가 크다. 이것이 REINFORCE가 단순하지만 학습 변동성이 큰 이유다.

그래도 REINFORCE는 정책 경사 방법의 핵심을 가장 깨끗하게 보여 준다. 정답 행동을 알려 주는 교사는 없다. Q-table도 없다. 에이전트는 직접 플레이하고, 결과를 보고, 자기 행동 습관을 고친다.

작은 예: 미끄러운 복도에서 배우기

조금 더 생생한 예를 들어 보자. 에이전트가 미끄러운 복도에 서 있다. 왼쪽 끝에는 작은 동전이 있고, 오른쪽 끝에는 보물 상자가 있다. 하지만 오른쪽으로 가는 길에는 미끄러운 칸이 있어 잘못 움직이면 벽에 부딪힌다.

초기 정책은 거의 무작위다.

왼쪽으로 가기: 0.50
오른쪽으로 가기: 0.50

처음 몇 번은 왼쪽으로 가서 작은 동전을 얻는다. 보상은 작지만 안정적이다. 오른쪽으로 가면 가끔 실패하지만, 운 좋게 보물 상자에 도착하면 큰 보상을 받는다.

정책 경사 방법은 오른쪽으로 갔다가 성공한 에피소드를 보면 이렇게 배운다.

"이 상태에서 오른쪽을 선택한 것이 큰 보상으로 이어질 가능성이 있구나. 오른쪽의 확률을 조금 높여 보자."

하지만 오른쪽으로 갔다가 계속 벽에 부딪히면 이렇게 조정한다.

"무작정 오른쪽으로만 가는 것은 위험하구나. 이 행동의 확률을 너무 높이면 안 되겠다."

흥미로운 점은 정책이 확률로 표현되기 때문에 완전히 한쪽으로 굳어지지 않을 수 있다는 것이다. 초기에는 오른쪽을 더 시도하며 탐험하고, 학습이 진행되면서 성공 가능성이 높은 행동 패턴을 더 자주 선택하게 된다. 좋은 정책은 단순히 "오른쪽!"이라고 외치는 것이 아니라, 상태에 따라 어느 정도 조심스럽게 행동할지를 배운다.

정책 기반 방법이 연속 행동에 강한 이유

가치 기반 방법에서는 보통 가능한 행동마다 Q값을 계산한다. 행동이 네 개라면 네 개의 Q값을 출력하면 된다. 하지만 행동이 연속적이면 문제가 어려워진다.

예를 들어 로봇 팔의 행동이 다음과 같다고 하자.

첫 번째 관절 각도: -30도부터 30도 사이의 실수
두 번째 관절 각도: -45도부터 45도 사이의 실수
손가락 힘: 0부터 1 사이의 실수

가능한 행동 조합은 사실상 무한히 많다. 모든 행동에 대해 Q값을 계산하고 그중 최대를 찾는 것은 쉽지 않다. 각도를 1도 단위로 쪼갤 수도 있지만, 그러면 행동 공간이 너무 커진다. 더 촘촘하게 쪼개면 계산량은 폭발한다.

정책 기반 방법은 다르게 접근한다. 정책 신경망이 상태를 입력받아 행동을 직접 출력하거나, 행동을 뽑을 확률분포의 파라미터를 출력한다.

연속 행동에서는 예를 들어 평균과 표준편차를 출력할 수 있다.

현재 상태 입력
→ 정책 신경망
→ 행동 분포의 평균과 표준편차 출력
→ 그 분포에서 실제 행동 샘플링

로봇 팔이라면 "관절을 평균적으로 12도 정도 돌리되, 학습 초기에는 약간의 흔들림을 허용하자" 같은 식으로 행동을 선택할 수 있다. 학습이 진행되면 좋은 행동 근처의 확률이 커지고, 불필요한 흔들림은 줄어든다.

이 방식은 연속 행동 문제에서 매우 자연스럽다. 정책은 "가능한 모든 행동을 점수화"하려 하지 않는다. 대신 "이 상태에서 어떤 행동을 어느 정도의 확률로 낼 것인가"를 직접 배운다.

확률적 행동이 중요한 이유

정책 기반 방법의 또 다른 장점은 확률적 행동을 자연스럽게 다룬다는 점이다.

게임에서 항상 같은 행동만 하는 에이전트는 쉽게 예측당한다. 가위바위보에서 언제나 가장 좋아 보이는 선택만 한다면 상대는 금방 패턴을 알아챌 것이다. 현실 세계도 마찬가지다. 센서에는 잡음이 있고, 환경은 변하며, 같은 행동이 매번 같은 결과를 내지도 않는다.

확률적 정책은 이런 불확실성을 받아들인다. 상태가 비슷하더라도 여러 행동에 가능성을 열어 둔다. 덕분에 에이전트는 탐험을 계속할 수 있고, 환경이 조금 바뀌어도 지나치게 딱딱하게 반응하지 않는다.

언어 모델을 생각해도 그렇다. 질문에 대한 답변은 하나의 정답 문장만 있는 것이 아니다. 같은 의미를 여러 방식으로 표현할 수 있고, 상황에 따라 더 친절한 답변, 더 짧은 답변, 더 창의적인 답변이 필요할 수 있다. 확률적 정책은 이런 다양성을 표현하는 데 잘 맞는다.

정책 기반 방법은 행동을 하나의 결정으로만 보지 않는다. 행동 선택의 분포를 학습한다. 이것이 나중에 LLM의 토큰 선택, 인간 선호 학습, RLHF를 이해할 때 중요한 발판이 된다.

REINFORCE를 코드처럼 상상해 보기

아직 실제 구현에 들어가지는 않겠지만, REINFORCE를 코드 흐름처럼 상상해 보자.

정책 신경망을 초기화한다.

반복한다:
    에피소드를 하나 실행한다.
    매 시점마다 상태 s, 선택한 행동 a, 보상 r, log π(a|s)를 저장한다.

    에피소드가 끝나면:
        각 시점의 누적 보상 G를 계산한다.
        loss = - Σ log π(a_t|s_t) × G_t 를 계산한다.
        loss를 줄이는 방향으로 정책 신경망을 업데이트한다.

여기서 G_t는 t시점 이후로 받을 누적 보상이다. 앞에서 배운 할인율을 넣으면 미래 보상일수록 조금씩 덜 반영할 수 있다.

G_t = r_t + γ r_{t+1} + γ² r_{t+2} + ...

γ는 할인율이다. 0과 1 사이의 값이며, 미래 보상을 현재 얼마나 중요하게 볼지를 정한다. γ가 1에 가까우면 먼 미래 보상도 중요하게 본다. γ가 작으면 가까운 보상을 더 중시한다.

이 구조에서 핵심은 log π(a_t|s_t)와 G_t의 곱이다. 어떤 행동 이후에 큰 누적 보상이 나왔다면, 그 행동의 log 확률을 높이는 방향으로 학습한다. 누적 보상이 낮다면 그 행동의 확률을 낮추는 방향으로 학습한다.

정책 경사 방법의 어려움

정책 경사 방법은 매력적이지만 만능은 아니다. 특히 기본적인 REINFORCE는 학습이 꽤 흔들릴 수 있다.

가장 큰 이유는 에피소드 결과가 우연에 많이 좌우될 수 있기 때문이다. 어떤 행동이 정말 좋은 행동이라서 성공했는지, 아니면 운 좋게 성공했는지 구분하기 어렵다. 반대로 좋은 행동을 했는데 나중에 다른 실수 때문에 실패할 수도 있다. 그러면 좋은 행동까지 나쁜 평가를 받을 위험이 있다.

또 하나의 문제는 샘플 효율이다. 샘플 효율이란 같은 양의 경험으로 얼마나 잘 배우는지를 뜻한다. REINFORCE는 직접 에피소드를 많이 실행해 봐야 한다. 환경과 상호작용하며 많은 데이터를 모아야 하므로, 실제 로봇처럼 한 번의 시도가 비싸거나 위험한 문제에서는 부담이 크다.

정책이 조금만 바뀌어도 이후에 모이는 데이터의 분포가 달라진다는 점도 어렵다. 지도학습에서는 보통 고정된 데이터셋으로 여러 번 학습할 수 있다. 하지만 강화학습에서는 정책이 바뀌면 에이전트가 방문하는 상태도 바뀐다. 데이터가 계속 움직이는 셈이다.

그래서 이후의 정책 기반 강화학습은 이 흔들림을 줄이기 위해 여러 장치를 도입한다. 그중 하나가 바로 다음 장에서 다룰 Actor-Critic이다.

baseline이라는 힌트

정책 경사 방법의 흔들림을 줄이는 대표적인 아이디어 중 하나가 baseline이다. baseline은 기준점이라는 뜻이다.

어떤 시험에서 80점을 받았다고 하자. 이 점수가 좋은지 나쁜지는 기준에 따라 다르다. 평균이 50점이면 아주 잘한 것이다. 평균이 95점이면 부족한 것이다.

강화학습에서도 마찬가지다. 어떤 상태에서 누적 보상 10을 얻었다고 해도, 그 상태에서 원래 기대할 수 있는 보상이 2라면 좋은 행동을 한 것이다. 반대로 원래 30 정도는 기대할 수 있는 상태에서 10을 얻었다면 나쁜 행동일 수 있다.

그래서 단순히 누적 보상 G만 보지 않고, 기준점과 비교해서 얼마나 더 좋았는지를 볼 수 있다.

실제로 얻은 누적 보상 - 기준이 되는 예상 가치

이 차이가 양수이면 기대보다 잘한 것이다. 그러면 그 행동의 확률을 높인다. 차이가 음수이면 기대보다 못한 것이다. 그러면 그 행동의 확률을 낮춘다.

이 생각은 다음 장과 그다음 장에서 매우 중요해진다. Actor-Critic에서는 정책을 업데이트하는 Actor와, 현재 상태가 얼마나 좋은지 평가하는 Critic이 함께 등장한다. 그리고 Advantage라는 개념은 "기대보다 얼마나 더 좋았는가"를 더 정교하게 표현한다.

지금은 baseline을 깊이 파고들 필요는 없다. 다만 하나만 기억하자.

정책 경사 방법은 좋은 행동의 확률을 높이는 방법이다. 그런데 무엇이 "좋은" 행동인지 더 안정적으로 판단하기 위해 기준점이 필요해진다. 그 기준점을 배우는 방향으로 발전한 것이 Actor-Critic으로 이어진다.

가치 기반과 정책 기반의 차이 다시 보기

여기서 잠시 두 접근을 나란히 놓고 비교해 보자.

가치 기반 방법은 행동의 가치를 먼저 배운다. 상태 s에서 행동 a를 했을 때 장기적으로 얼마나 좋은지를 Q(s, a)로 평가한다. 그런 다음 Q값이 큰 행동을 선택한다.

정책 기반 방법은 행동 선택 규칙 자체를 배운다. 상태 s가 들어오면 행동 확률 π(a|s)를 바로 만든다. 좋은 결과를 만든 행동은 더 자주 나오도록, 나쁜 결과를 만든 행동은 덜 나오도록 정책을 조정한다.

둘 중 하나가 항상 더 낫다고 말하기는 어렵다. 가치 기반 방법은 단순한 이산 행동 문제에서 강력하다. 정책 기반 방법은 연속 행동, 확률적 행동, 복잡한 정책 표현에서 강점을 보인다. 실제 현대 강화학습에서는 두 접근을 섞는 경우가 많다. 그것이 바로 Actor-Critic 계열이다.

언어 모델과 Policy Gradient의 연결

이 책의 후반부에서는 LLM과 RLHF를 다룬다. 그때 Policy Gradient의 직관이 다시 등장한다.

언어 모델은 어떤 상태를 보고 행동을 선택하는 에이전트처럼 볼 수 있다. 여기서 상태는 지금까지의 대화 문맥이고, 행동은 다음 토큰을 선택하는 것이다. 모델은 다음 토큰에 대한 확률분포를 출력한다. 이것은 정책 신경망이 상태를 보고 행동 확률을 출력하는 구조와 닮아 있다.

사람이 어떤 답변을 더 선호하는지 알려 주고, 그 선호를 바탕으로 보상 모델을 만들면, 언어 모델은 더 높은 보상을 받는 답변을 생성하도록 조정될 수 있다. 이때도 기본 생각은 같다.

"좋은 평가를 받은 답변을 만들어 낸 토큰 선택의 확률은 높이고, 나쁜 평가를 받은 답변을 만들어 낸 선택의 확률은 낮춘다."

물론 실제 LLM 학습은 훨씬 복잡하다. 너무 급격히 정책을 바꾸면 모델이 이상한 문장을 만들 수 있고, 보상 모델의 허점을 파고드는 문제도 생긴다. 그래서 PPO 같은 안정화 기법이 중요해진다. 하지만 그 밑바닥에는 Policy Gradient의 단순한 직관이 있다.

정책을 직접 바꾼다. 좋은 행동을 더 자주 하게 한다. 이 생각이 언어 모델 정렬까지 이어진다.

이번 장의 핵심 정리

Policy Gradient는 가치 기반 방법에서 한 걸음 다른 방향으로 나아간다. Q값을 먼저 계산하고 행동을 고르는 대신, 정책 자체를 파라미터화하고 보상이 커지는 방향으로 직접 업데이트한다.

정책 신경망은 상태를 입력받아 행동 확률을 출력한다. 이 확률분포에서 행동을 샘플링하면 에이전트는 탐험할 수 있고, 학습을 통해 좋은 행동의 확률을 점점 높일 수 있다.

REINFORCE는 가장 기본적인 정책 경사 알고리즘이다. 에피소드를 끝까지 실행한 뒤, 각 행동 이후의 누적 보상을 계산하고, 좋은 결과로 이어진 행동의 확률을 높이는 방식으로 정책을 학습한다.

정책 기반 방법은 연속 행동과 확률적 행동에 강하다. 로봇 제어처럼 행동이 실수값인 문제, 언어 모델처럼 확률분포에서 다음 토큰을 선택하는 문제에서 정책을 직접 다루는 관점은 매우 자연스럽다.

하지만 기본적인 정책 경사 방법은 흔들림이 크고 많은 경험을 필요로 한다. 그래서 다음 단계에서는 정책을 조정하는 역할과 가치를 평가하는 역할을 함께 사용하는 방법이 등장한다.

그 방법이 바로 Actor-Critic이다. 이제 에이전트 안에 두 명의 인물을 세워 보자. 한 명은 행동하는 배우이고, 다른 한 명은 그 행동을 평가하는 비평가다.