Advantage의 의미

보상만으로는 부족하다

강화학습을 처음 배울 때 가장 먼저 떠올리는 질문은 보통 이렇습니다.

"보상을 많이 받으면 좋은 행동 아닌가?"

대체로 맞는 말입니다. 하지만 강화학습이 조금 더 까다로운 이유는, 같은 보상이라도 상황에 따라 의미가 달라지기 때문입니다. 어떤 상태에서는 10점이 놀라운 성과일 수 있고, 어떤 상태에서는 10점이 실망스러운 결과일 수 있습니다.

예를 들어 봅시다. 두 명의 게임 캐릭터가 같은 점수 100점을 얻었습니다. 첫 번째 캐릭터는 체력도 충분하고, 좋은 무기도 있고, 적도 약한 쉬운 스테이지에 있었습니다. 두 번째 캐릭터는 체력이 1밖에 남지 않았고, 무기도 거의 없고, 보스 몬스터 앞에 서 있었습니다. 둘 다 100점을 얻었지만, 우리가 느끼는 평가는 다릅니다.

첫 번째 캐릭터에게 100점은 "그 정도는 할 만했지"에 가깝습니다. 두 번째 캐릭터에게 100점은 "이 어려운 상황에서 이걸 해냈다고?"에 가깝습니다.

강화학습에서 Advantage는 바로 이 차이를 잡아내는 개념입니다.

Advantage는 단순히 얼마나 보상을 받았는지가 아니라, 기대했던 것보다 얼마나 더 좋았는지를 나타내는 신호입니다.

이 한 문장이 이번 장의 핵심입니다. 강화학습에서 중요한 것은 절대 점수만이 아닙니다. 더 중요한 질문은 이것입니다.

"이 상태에서 원래 기대하던 것보다 더 잘했는가?"

기준이 있어야 잘한 것인지 알 수 있다

우리가 어떤 결과를 평가하려면 기준이 필요합니다. 시험에서 80점을 받았다고 해도, 시험이 아주 쉬웠다면 아쉬울 수 있습니다. 반대로 평균이 30점인 어려운 시험에서 80점을 받았다면 대단한 성과입니다.

강화학습에서도 마찬가지입니다. 에이전트가 어떤 상태에서 어떤 행동을 했고, 그 결과 보상을 받았습니다. 그런데 그 행동이 정말 좋은 행동이었는지 알려면 기준이 있어야 합니다.

이 기준 역할을 하는 것이 가치 함수입니다.

가치 함수는 어떤 상태에서 앞으로 받을 것으로 기대되는 장기 보상을 추정합니다. 예를 들어 상태 s의 가치가 5라는 말은, 에이전트가 그 상태에 있을 때 앞으로 평균적으로 약 5만큼의 보상을 기대할 수 있다는 뜻입니다.

그런데 실제로 행동을 해 보니 결과가 8에 가까웠다면 어떨까요? 기대보다 3만큼 좋았습니다. 이때 Advantage는 양수입니다.

반대로 상태의 기대 가치가 5였는데 실제 결과가 2에 가까웠다면, 기대보다 3만큼 나빴습니다. 이때 Advantage는 음수입니다.

가장 단순하게 쓰면 Advantage는 다음처럼 생각할 수 있습니다.

[ A(s, a) = Q(s, a) - V(s) ]

여기서 V(s)는 상태 s에서의 평균적인 기대 가치입니다. Q(s, a)는 상태 s에서 행동 a를 했을 때의 기대 가치입니다. 따라서 A(s, a)는 이렇게 읽을 수 있습니다.

"이 상태에서 평균적으로 기대되는 것에 비해, 이 행동은 얼마나 더 좋거나 나쁜가?"

조금 더 경험 중심으로 표현하면 다음과 같이 볼 수도 있습니다.

[ A_t approx G_t - V(s_t) ]

여기서 G_t는 실제로 얻은 장기 보상, 즉 현재 시점 이후로 받은 보상의 합입니다. V(s_t)는 그 상태에서 원래 기대했던 값입니다. 그러므로 Advantage는 실제 결과와 기대값의 차이입니다.

이제 Advantage가 왜 이름 그대로 "이점"인지 보입니다. 어떤 행동이 그 상태의 평범한 기대보다 더 나은 결과를 만들었다면, 그 행동은 이점이 있습니다. 반대로 기대보다 못했다면, 그 행동은 불리한 선택이었을 가능성이 큽니다.

같은 보상, 다른 의미

Advantage를 가장 잘 이해하는 방법은 같은 보상이 서로 다르게 해석되는 장면을 보는 것입니다.

간단한 미로 게임을 생각해 봅시다. 에이전트는 출구를 찾으면 보상을 받고, 함정에 빠지면 손해를 봅니다. 어느 순간 에이전트가 두 가지 상태에 놓였습니다.

첫 번째 상태는 출구 바로 앞입니다. 한 칸만 움직이면 출구입니다. 이 상태의 가치는 이미 높습니다. 웬만하면 곧 좋은 보상을 받을 테니까요.

두 번째 상태는 함정 근처의 막다른 길입니다. 빠져나가려면 여러 번 올바른 선택을 해야 합니다. 이 상태의 가치는 낮습니다. 실수하면 바로 손해를 볼 가능성이 크기 때문입니다.

이제 두 상태에서 모두 에이전트가 어떤 행동을 해서 최종적으로 보상 10을 얻었다고 해 봅시다. 표면적으로는 둘 다 10입니다. 하지만 의미는 다릅니다.

출구 바로 앞에서 10을 얻은 것은 예상 가능한 결과입니다. 좋은 행동이긴 하지만, 매우 놀라운 행동은 아닙니다. 이미 쉬운 상태였기 때문입니다.

반대로 함정 근처의 막다른 길에서 10을 얻은 것은 기대를 크게 뛰어넘은 결과입니다. 원래는 실패할 가능성이 컸는데, 에이전트가 좋은 선택을 해서 높은 보상을 얻었습니다.

이를 숫자로 표현해 봅시다.

둘 다 실제 결과는 10입니다. 하지만 Advantage는 다릅니다. 출구 앞에서는 +1이고, 함정 근처에서는 +12입니다.

이 차이가 중요합니다. 에이전트는 단순히 "10점을 받았으니 좋다"라고 배우는 것이 아니라, "그 상황에서 기대한 것보다 얼마나 좋았는가"를 보고 배워야 합니다. 그래야 쉬운 상황에서 당연히 얻은 보상과 어려운 상황에서 만든 뛰어난 성과를 구별할 수 있습니다.

반대 경우도 생각해 볼 수 있습니다.

어떤 상태는 원래 매우 유리해서 보상 20 정도를 기대할 수 있었습니다. 그런데 행동을 잘못해서 실제로는 10밖에 얻지 못했습니다. 겉으로 보면 10은 양수 보상입니다. 하지만 기대보다 10이나 낮습니다. 이 행동은 강화해야 할 행동이 아니라 줄여야 할 행동입니다.

이것이 보상과 Advantage의 중요한 차이입니다.

보상은 "무슨 일이 일어났는가"를 말합니다. Advantage는 "그 일이 기대보다 좋았는가 나빴는가"를 말합니다.

Advantage는 실망과 놀라움을 숫자로 만든다

Advantage를 일상적인 감각으로 바꾸면, 그것은 일종의 놀라움 점수입니다. 다만 아무 방향 없는 놀라움이 아니라, 좋은 쪽으로 놀랐는지 나쁜 쪽으로 놀랐는지를 함께 담고 있습니다.

기대보다 좋으면 양수입니다. "오, 생각보다 잘했네?"라는 신호입니다. 정책은 그 행동을 앞으로 더 자주 선택하도록 바뀝니다.

기대와 비슷하면 0에 가깝습니다. "대체로 예상한 정도였네"라는 신호입니다. 정책을 크게 바꿀 이유가 없습니다.

기대보다 나쁘면 음수입니다. "이건 생각보다 별로였네"라는 신호입니다. 정책은 그 행동을 덜 선택하도록 바뀝니다.

이 관점에서 Advantage는 단순한 점수가 아닙니다. 에이전트가 자기 행동을 되돌아보며 남기는 짧은 평가입니다.

"그때 그 선택은 기대보다 좋았다."

"그때 그 선택은 생각보다 나빴다."

Actor-Critic 구조에서는 이 평가가 특히 중요합니다. Actor는 행동을 선택하는 정책입니다. Critic은 현재 상태의 가치를 평가하는 기준입니다. 그러면 Advantage는 Actor와 Critic 사이에서 이런 역할을 합니다.

"Critic이 예상한 것에 비해, Actor의 선택은 얼마나 좋았는가?"

Actor는 이 신호를 보고 자신을 고칩니다. Advantage가 양수라면, 그 상태에서 그 행동을 더 자주 하도록 정책을 조정합니다. Advantage가 음수라면, 그 행동의 확률을 낮춥니다.

정책 업데이트의 방향을 정한다

Policy Gradient를 배울 때 우리는 정책을 직접 조정한다는 아이디어를 만났습니다. 좋은 결과를 만든 행동의 확률은 높이고, 나쁜 결과를 만든 행동의 확률은 낮춥니다.

그런데 여기서 "좋은 결과"를 무엇으로 판단할지가 문제입니다. 단순히 보상이 양수면 좋은 행동이라고 볼까요? 그렇지 않습니다. 앞에서 봤듯이 양수 보상이라도 기대보다 낮으면 나쁜 선택일 수 있습니다.

그래서 Policy Gradient에서는 보상 자체보다 Advantage를 학습 신호로 사용하는 경우가 많습니다. 직관적으로는 다음과 같습니다.

[ nabla J(theta) approx nabla log pi_theta(a_t mid s_t) cdot A_t ]

수식이 조금 낯설어도 핵심은 단순합니다. πθ(a_t | s_t)는 현재 정책이 상태 s_t에서 행동 a_t를 선택할 확률입니다. A_t는 그 행동이 기대보다 좋았는지 나빴는지를 나타냅니다.

이때 Advantage의 부호가 업데이트 방향을 정합니다.

예를 들어 어떤 에이전트가 전투 게임에서 회피라는 행동을 선택했다고 합시다. 그 결과가 기대보다 좋았다면, Advantage는 양수가 됩니다. 그러면 정책은 비슷한 상태에서 회피를 선택할 확률을 조금 높입니다.

반대로 회피했는데 오히려 큰 피해를 입었다면, Advantage는 음수가 됩니다. 그러면 정책은 비슷한 상태에서 회피를 덜 선택하도록 바뀝니다.

중요한 점은 에이전트가 "회피는 언제나 좋다"라고 배우지 않는다는 것입니다. 강화학습은 상태를 함께 봅니다. 어떤 상태에서의 회피가 기대보다 좋았는지를 배우는 것입니다. 적의 공격이 막 시작될 때 회피는 좋을 수 있지만, 이미 안전한 곳에 있을 때 계속 회피만 하는 것은 쓸모없는 행동일 수 있습니다.

Advantage는 이 차이를 정책 업데이트에 반영합니다.

업데이트의 크기도 정한다

Advantage는 방향만 정하는 것이 아닙니다. 얼마나 강하게 배울지도 정합니다.

Advantage가 +0.1이라면, 기대보다 조금 좋은 정도입니다. 정책을 아주 조금만 바꾸면 됩니다. Advantage가 +10이라면, 기대를 크게 뛰어넘은 결과입니다. 정책은 더 강하게 "이 행동은 기억할 만하다"고 받아들입니다.

음수도 마찬가지입니다. Advantage가 -0.2라면 약간 실망스러운 정도입니다. 행동 확률을 조금 낮추면 됩니다. Advantage가 -15라면 매우 나쁜 결과입니다. 정책은 그 행동을 크게 줄이는 쪽으로 움직입니다.

이 구조는 사람이 배우는 방식과도 닮았습니다. 식당에서 새로운 메뉴를 시켰는데 예상보다 조금 맛있었다면 다음에 또 시킬 가능성이 살짝 올라갑니다. 그런데 생각보다 엄청나게 맛있었다면 친구에게 추천까지 하게 됩니다. 반대로 기대보다 조금 별로였다면 잠시 망설이는 정도지만, 심하게 실망했다면 다시는 주문하지 않을 것입니다.

에이전트도 비슷합니다. Advantage는 경험의 강도를 담습니다. 단순히 좋다, 나쁘다를 넘어서 "얼마나" 좋고 나쁜지를 알려 줍니다.

그래서 Advantage는 정책 학습에서 매우 실용적인 신호입니다. 정책이 어느 방향으로 움직여야 하는지 알려 주고, 동시에 얼마나 크게 움직여야 하는지도 알려 줍니다.

기준선을 빼면 왜 학습이 안정될까

Advantage를 쓰는 또 다른 이유는 학습을 더 안정적으로 만들기 위해서입니다.

Policy Gradient를 그대로 사용하면 결과의 흔들림이 큽니다. 같은 정책이라도 어느 에피소드에서는 운 좋게 높은 보상을 받고, 어느 에피소드에서는 운 나쁘게 낮은 보상을 받을 수 있습니다. 에이전트가 이 차이를 전부 정책 탓으로 돌리면 학습이 요동칩니다.

이때 기준선이 필요합니다. 상태 가치 V(s)는 "이 상태에서는 원래 이 정도를 기대할 수 있다"는 기준입니다. 실제 결과에서 이 기준을 빼면, 그 상태의 일반적인 난이도나 운의 영향을 어느 정도 제거할 수 있습니다.

다시 말해 Advantage는 이런 질문에 답합니다.

"이 상태가 원래 쉬워서 잘된 것인가, 아니면 그 행동이 정말 좋아서 잘된 것인가?"

"이 상태가 원래 어려워서 망한 것인가, 아니면 그 행동이 특히 나빴던 것인가?"

기준선을 빼지 않으면 에이전트는 쉬운 상태에서 나온 평범한 성공을 지나치게 크게 칭찬할 수 있습니다. 반대로 어려운 상태에서 나온 괜찮은 선택을 제대로 칭찬하지 못할 수도 있습니다.

Advantage를 쓰면 학습 신호가 더 공정해집니다. 각 행동을 그 행동이 일어난 상태의 기대치와 비교하기 때문입니다.

이것은 강화학습에서 매우 중요한 태도입니다. 에이전트의 행동을 평가할 때는 결과만 보지 않고, 그 결과가 나온 맥락까지 함께 봐야 합니다.

한 단계만 보고 계산하는 Advantage

실제로 강화학습 알고리즘에서는 Advantage를 정확히 계산하기 어렵습니다. 왜냐하면 진짜 Q(s, a)나 진짜 장기 보상 G_t를 완벽히 알 수 없기 때문입니다. 에이전트는 경험을 통해 추정할 뿐입니다.

그래서 자주 쓰는 간단한 방식은 한 단계 뒤의 정보를 이용하는 것입니다.

[ delta_t = r_t + gamma V(s_{t+1}) - V(s_t) ]

이 값은 TD error라고도 부릅니다. 여기서 r_t는 지금 받은 보상, γ는 미래 보상을 얼마나 반영할지 정하는 할인율, V(s_{t+1})는 다음 상태의 가치, V(s_t)는 현재 상태의 가치입니다.

이 식도 Advantage처럼 해석할 수 있습니다.

현재 상태에서 기대한 가치는 V(s_t)였습니다. 그런데 실제로 한 걸음 가 보니 즉시 보상 r_t를 받았고, 다음 상태의 예상 가치가 V(s_{t+1})였습니다. 즉 실제로 확인한 한 단계짜리 결과는 r_t + γV(s_{t+1})입니다.

따라서 둘의 차이는 이렇게 말할 수 있습니다.

"한 걸음 움직여 보니, 원래 예상보다 좋았는가 나빴는가?"

이 값이 양수면 Critic의 예상보다 좋았다는 뜻이고, 음수면 예상보다 나빴다는 뜻입니다. Actor-Critic에서는 이 TD error를 Advantage의 추정치처럼 사용하기도 합니다.

물론 한 단계만 보면 정보가 부족할 수 있습니다. 어떤 행동은 당장은 손해처럼 보여도 나중에 큰 보상을 가져올 수 있고, 어떤 행동은 당장은 좋아 보여도 미래를 망칠 수 있습니다. 그래서 실제 알고리즘들은 여러 단계의 정보를 섞어 Advantage를 추정하기도 합니다.

하지만 처음 이해할 때는 이 정도로 충분합니다. Advantage는 결국 "예상과 실제의 차이"입니다. 한 단계로 보든, 에피소드 전체로 보든, 핵심은 같습니다.

Advantage는 Actor와 Critic의 대화다

Actor-Critic을 하나의 작은 팀으로 상상해 봅시다.

Actor는 행동 담당자입니다. "지금은 왼쪽으로 가 보자", "이번엔 점프하자", "이 답변을 선택하자"처럼 실제 선택을 합니다.

Critic은 평가 담당자입니다. "이 상태에서는 보통 이 정도 결과가 나올 것 같아"라고 예측합니다.

그리고 Advantage는 두 사람 사이의 피드백입니다.

Actor가 행동합니다. 결과가 나옵니다. Critic의 예상과 비교합니다. 예상보다 좋으면 Actor는 칭찬을 받습니다. 예상보다 나쁘면 Actor는 조정을 받습니다.

이 대화가 반복되면서 정책은 점점 나아집니다.

중요한 것은 Critic이 완벽할 필요는 없다는 점입니다. 처음에는 Critic도 서툽니다. 가치를 잘못 예측합니다. 그래서 Actor에게 잘못된 신호를 줄 수도 있습니다. 하지만 경험이 쌓이면 Critic의 예측도 점점 나아지고, Actor가 받는 Advantage 신호도 점점 더 유용해집니다.

이 과정은 마치 코치와 선수의 관계와 비슷합니다. 선수는 경기에 나가 플레이합니다. 코치는 장면을 보고 "이 상황에서는 원래 이렇게 될 가능성이 컸는데, 방금 선택은 좋았다" 또는 "결과는 나쁘지 않아 보이지만 사실 더 좋은 선택지가 있었다"고 말합니다.

좋은 코치는 점수판만 보지 않습니다. 상황을 봅니다. 상대의 수준, 경기 흐름, 선수의 위치, 남은 시간까지 함께 봅니다. Critic도 그런 역할을 합니다. 그리고 Advantage는 그 코치의 평가를 숫자로 바꾼 것입니다.

보상 설계와 Advantage는 다르다

여기서 한 가지를 분명히 해야 합니다. Advantage는 새로운 보상을 만드는 것이 아닙니다.

보상은 환경이 줍니다. 게임에서 점수를 얻거나, 로봇이 목표 지점에 가까워지거나, 언어 모델이 인간에게 더 선호되는 답변을 만들었을 때 보상이 정의됩니다.

Advantage는 그 보상을 바탕으로 만든 학습 신호입니다. 보상을 그대로 쓰지 않고, 현재 상태의 기대 가치와 비교해서 해석한 값입니다.

이 차이를 혼동하면 강화학습이 흐려집니다. 보상은 목표를 말합니다. Advantage는 그 목표를 향해 가는 과정에서 "이번 행동을 얼마나 칭찬하거나 벌할지"를 말합니다.

예를 들어 로봇이 물건을 집는 과제를 한다고 합시다. 물건을 성공적으로 집으면 보상 +1을 줄 수 있습니다. 이것이 보상 설계입니다. 하지만 어떤 상태에서 +1이 얼마나 대단한지는 따로 봐야 합니다.

물건이 로봇 손 바로 앞에 있고 자세도 안정적이라면 +1은 예상 가능한 결과입니다. 반대로 물건이 애매한 위치에 있고 로봇 팔이 불안정한 상태였다면 +1은 매우 좋은 결과입니다. Advantage는 이 차이를 반영합니다.

즉 보상은 환경의 언어이고, Advantage는 학습의 언어입니다.

왜 절대 점수가 아니라 비교가 중요한가

강화학습의 세계에서는 모든 경험이 같은 난이도에서 나오지 않습니다. 어떤 상태는 원래 유리하고, 어떤 상태는 원래 불리합니다. 어떤 에피소드는 운이 좋고, 어떤 에피소드는 운이 나쁩니다. 어떤 행동은 당장 좋아 보이지만 장기적으로 나쁘고, 어떤 행동은 당장 손해처럼 보여도 미래를 열어 줍니다.

그래서 절대 보상만 보고 행동을 평가하면 학습이 거칠어집니다. 에이전트는 쉬운 성공을 과대평가하고, 어려운 상황에서의 좋은 시도를 놓칠 수 있습니다.

Advantage는 이 문제를 줄여 줍니다. 절대 점수 대신 비교를 사용하기 때문입니다.

비교의 기준은 "그 상태에서 원래 기대하던 결과"입니다. 에이전트는 매번 자신의 행동을 이 기준과 비교합니다. 그래서 정책은 더 정교하게 바뀝니다.

이 관점은 이후 RLHF를 이해할 때도 중요합니다. 언어 모델이 어떤 답변을 만들었을 때, 단순히 보상 모델이 준 점수만 중요한 것이 아닙니다. 현재 모델이 원래 만들 법한 답변에 비해 얼마나 더 좋은지, 또는 얼마나 더 나쁜지가 학습 신호가 됩니다.

좋은 답변을 더 자주 만들게 하고, 기대보다 나쁜 답변을 줄이려면 비교 신호가 필요합니다. Advantage는 강화학습에서 그 비교를 담당하는 핵심 도구입니다.

PPO로 이어지는 다리

다음 장에서 만날 PPO는 현대 강화학습에서 매우 중요한 알고리즘입니다. 특히 언어 모델 정렬과 RLHF를 이야기할 때도 자주 등장합니다.

PPO를 처음 보면 새로운 개념이 갑자기 많이 나오는 것처럼 느껴질 수 있습니다. old policy, new policy, probability ratio, clipping 같은 말들이 등장합니다. 하지만 그 중심에는 이번 장에서 배운 Advantage가 있습니다.

PPO의 질문은 대략 이렇습니다.

"기대보다 좋았던 행동은 더 자주 하게 만들고, 기대보다 나빴던 행동은 덜 하게 만들자. 다만 정책을 한 번에 너무 크게 바꾸지는 말자."

여기서 "기대보다 좋았던 행동"을 알려 주는 신호가 Advantage입니다. PPO는 Advantage가 양수인 행동의 확률을 높이려 하고, Advantage가 음수인 행동의 확률을 낮추려 합니다.

하지만 PPO는 조심스럽습니다. 좋은 행동이라고 해서 확률을 무한정 크게 올리지 않습니다. 나쁜 행동이라고 해서 한 번에 완전히 지워 버리지도 않습니다. 정책이 너무 급격히 변하면 학습이 불안정해질 수 있기 때문입니다.

그래서 PPO는 Advantage를 학습 신호로 사용하되, 정책 변화의 폭을 제한합니다. 이 제한 장치가 PPO의 핵심 직관입니다. Advantage가 "어느 방향으로 가야 하는지"를 알려 준다면, PPO의 클리핑은 "너무 멀리 가지는 말라"고 붙잡아 주는 안전장치입니다.

이렇게 보면 PPO는 갑자기 등장한 어려운 알고리즘이 아닙니다. Actor-Critic의 흐름 위에 있고, 그 중심에 Advantage가 있습니다.

Actor는 행동 확률을 바꿉니다. Critic은 기준 가치를 제공합니다. Advantage는 기대보다 좋았는지 나빴는지를 말합니다. PPO는 이 신호를 이용하되, 정책이 너무 거칠게 흔들리지 않도록 조절합니다.

이번 장의 정리

Advantage는 강화학습에서 매우 단순하지만 강력한 생각입니다.

좋은 행동을 배우려면 보상을 봐야 합니다. 하지만 보상만 보면 부족합니다. 그 보상이 어떤 상태에서 나온 것인지, 원래 기대보다 좋은지 나쁜지를 함께 봐야 합니다.

Advantage는 실제 결과와 기준 가치의 차이입니다. 상태 가치 V(s)가 기준을 제공하고, 실제 결과나 행동 가치가 그 기준과 비교됩니다. 기대보다 좋으면 양수, 기대와 비슷하면 0 근처, 기대보다 나쁘면 음수가 됩니다.

이 신호는 정책 업데이트의 방향과 크기를 정합니다. 양수 Advantage는 그 행동의 확률을 높이고, 음수 Advantage는 낮춥니다. 값이 클수록 더 강한 업데이트가 일어납니다.

무엇보다 Advantage는 강화학습의 중요한 태도를 보여 줍니다.

중요한 것은 절대 점수가 아니라, 기대보다 더 나았는가입니다.

다음 장에서는 이 Advantage를 중심 신호로 사용하면서도 정책이 너무 크게 흔들리지 않게 만드는 방법, PPO의 직관을 살펴보겠습니다.