정책과 가치 함수

같은 상황에서도 다른 선택을 하는 이유

지난 장에서 우리는 강화학습의 기본 장면을 보았습니다. 에이전트는 상태를 보고, 행동을 선택하고, 보상을 받고, 다음 상태로 이동합니다. 이 흐름만 보면 강화학습은 단순해 보입니다. 그런데 중요한 질문이 하나 남습니다.

에이전트는 어떤 기준으로 행동을 고를까요?

미로 속 캐릭터를 떠올려 봅시다. 캐릭터는 갈림길 앞에 서 있습니다. 왼쪽 길에는 동전이 보이고, 오른쪽 길은 어둡지만 출구로 이어질지도 모릅니다. 지금 당장 동전을 먹는 것이 좋을까요, 아니면 출구를 찾아 오른쪽으로 가는 것이 좋을까요?

이때 에이전트에게 필요한 것은 두 가지입니다. 하나는 "나는 이 상황에서 어떻게 행동할 것인가?"라는 선택 전략입니다. 다른 하나는 "이 상황이나 행동은 얼마나 좋은가?"라는 평가 기준입니다.

강화학습에서는 전자를 정책이라고 부르고, 후자를 가치 함수라고 부릅니다. 이 둘을 이해하면 강화학습 알고리즘의 큰 지도가 보이기 시작합니다. 어떤 알고리즘은 좋은 행동을 직접 찾으려 하고, 어떤 알고리즘은 상황과 행동의 가치를 먼저 평가한 뒤 행동을 고릅니다. 그리고 어떤 알고리즘은 두 방식을 함께 사용합니다.

정책: 상태를 보고 행동을 정하는 전략

정책은 영어로 policy라고 합니다. 강화학습에서 정책은 에이전트의 행동 규칙입니다. 조금 더 정확히 말하면, 상태를 보고 어떤 행동을 할지 정하는 전략입니다.

격자 세계에서 에이전트가 현재 위치를 봅니다. 위로 갈지, 아래로 갈지, 왼쪽으로 갈지, 오른쪽으로 갈지 선택해야 합니다. 이때 정책은 이렇게 말하는 역할을 합니다.

"지금 이 칸에서는 오른쪽으로 가."

또는 이렇게 말할 수도 있습니다.

"지금 이 칸에서는 오른쪽으로 갈 확률이 70%, 위로 갈 확률이 20%, 왼쪽으로 갈 확률이 10%야."

둘 다 정책입니다. 정책은 반드시 하나의 행동만 딱 고르는 규칙일 필요는 없습니다. 확률적으로 행동을 고를 수도 있습니다.

수식으로는 정책을 보통 π로 표시합니다. 여기서 π(s)는 상태 s에서 어떤 행동을 할지 알려주는 정책이고, π(a|s)는 상태 s에서 행동 a를 선택할 확률을 뜻합니다. 처음 보면 낯설지만 의미는 단순합니다.

"이 상황에서 이 행동을 얼마나 자주 선택할 것인가?"

정책은 에이전트의 성격과 비슷합니다. 같은 게임 캐릭터라도 공격적인 정책을 가진 캐릭터는 적을 보면 곧장 달려듭니다. 방어적인 정책을 가진 캐릭터는 체력이 낮아지기 전에 물러납니다. 탐험을 좋아하는 정책은 새로운 방을 열어 보려 하고, 안전을 중시하는 정책은 이미 아는 길을 반복합니다.

환경이 같아도 정책이 다르면 행동이 달라지고, 행동이 달라지면 경험이 달라지며, 경험이 달라지면 결국 학습되는 내용도 달라집니다. 그래서 정책은 강화학습의 중심에 있습니다.

확정적 정책과 확률적 정책

정책은 크게 두 가지 방식으로 생각할 수 있습니다. 하나는 확정적 정책이고, 다른 하나는 확률적 정책입니다.

확정적 정책은 같은 상태에서 항상 같은 행동을 선택합니다. 예를 들어 미로의 특정 칸에 도착하면 언제나 오른쪽으로 이동하는 식입니다. 규칙이 명확하고 실행이 간단합니다. 게임에서 "적이 가까이 오면 무조건 방패를 든다"는 규칙도 확정적 정책에 가깝습니다.

반대로 확률적 정책은 같은 상태에서도 여러 행동 중 하나를 확률에 따라 선택합니다. 같은 상황에서 공격할 수도 있고, 피할 수도 있고, 아이템을 사용할 수도 있습니다. 각각의 행동에는 선택될 확률이 붙습니다.

가위바위보를 생각해 봅시다. 만약 내가 항상 가위만 낸다면 상대는 금방 알아차리고 바위만 낼 것입니다. 이 전략은 확정적입니다. 단순하고 예측하기 쉽습니다. 반면 가위, 바위, 보를 적절한 확률로 섞어 내면 상대가 나를 예측하기 어려워집니다. 이것은 확률적 정책입니다.

게임 캐릭터도 마찬가지입니다. 몬스터가 항상 같은 패턴으로만 움직이면 플레이어는 곧 공략법을 찾습니다. 하지만 몬스터가 60% 확률로 돌진하고, 30% 확률로 점프 공격을 하고, 10% 확률로 뒤로 물러난다면 훨씬 생동감 있게 느껴집니다. 확률적 정책은 행동에 다양성을 줍니다.

강화학습에서 확률적 정책이 중요한 이유는 단순히 재미 때문만은 아닙니다. 학습 초기의 에이전트는 무엇이 좋은 행동인지 모릅니다. 이때 매번 하나의 행동만 고집하면 다른 가능성을 경험하지 못합니다. 확률적으로 행동하면 여러 선택지를 시험해 볼 수 있고, 그 과정에서 더 좋은 전략을 발견할 가능성이 커집니다.

물론 학습이 충분히 진행된 뒤에는 가장 좋은 행동을 안정적으로 선택하는 것이 중요할 때도 있습니다. 그래서 강화학습에서는 상황에 따라 확정적 정책과 확률적 정책을 다르게 사용합니다. 중요한 것은 두 방식 모두 "상태를 보고 행동을 정한다"는 정책의 역할을 수행한다는 점입니다.

가치 함수: 좋은 상황을 알아보는 감각

정책이 "무엇을 할 것인가"를 말한다면, 가치 함수는 "얼마나 좋은가"를 말합니다. 여기서 좋은가의 기준은 당장의 보상만이 아닙니다. 강화학습에서 중요한 것은 앞으로 받을 보상까지 포함한 장기적인 좋음입니다.

다시 미로로 돌아가 봅시다. 어떤 칸에는 바로 앞에 동전이 있습니다. 그 칸은 당장 좋아 보입니다. 하지만 동전을 먹고 나면 막다른 길에 갇힐 수도 있습니다. 반대로 어떤 칸은 지금 당장 보상이 없습니다. 하지만 그 길 끝에는 출구와 큰 보상이 있을 수 있습니다.

사람이라면 이런 생각을 합니다.

"여기는 당장은 별것 없어 보여도, 출구와 가까운 위치야."

가치 함수는 바로 이런 판단을 수치로 표현하려는 도구입니다. 어떤 상태가 얼마나 유리한지, 또는 어떤 행동이 얼마나 좋은 결과로 이어질지 예측합니다.

여기서 주의할 점이 있습니다. 가치 함수는 정답표가 아닙니다. 강화학습 문제에서는 처음부터 "이 상태의 가치는 10점" 같은 답이 주어지지 않습니다. 에이전트는 직접 행동하고 보상을 받아 보면서 가치를 추정해야 합니다. 처음에는 엉성하게 추측하고, 경험이 쌓일수록 더 정확하게 고쳐 갑니다.

마치 처음 가는 동네에서 길을 익히는 것과 비슷합니다. 처음에는 어느 골목이 편한지 모릅니다. 몇 번 걸어 보니 어떤 길은 신호등이 많고, 어떤 길은 조용하며, 어떤 길은 지름길이라는 것을 알게 됩니다. 시간이 지나면 머릿속에 동네의 가치 지도가 생깁니다. 강화학습의 가치 함수도 그런 지도와 닮았습니다.

상태 가치 함수 V: 이 상황은 얼마나 유리한가

가치 함수에는 대표적으로 두 종류가 있습니다. 첫 번째는 상태 가치 함수입니다. 보통 V로 표시합니다.

상태 가치 함수 V(s)는 상태 s가 얼마나 좋은지를 나타냅니다. 조금 더 풀어 말하면, 지금 이 상태에 있을 때 앞으로 받을 보상의 총합이 얼마나 클 것으로 기대되는가를 추정합니다.

예를 들어 격자 세계에서 출구 바로 옆 칸에 있다면 그 상태의 가치는 높을 것입니다. 조금만 잘 움직이면 큰 보상을 받을 수 있기 때문입니다. 반대로 함정 바로 옆 칸에 있고, 잘못 움직이면 큰 벌점을 받는다면 그 상태의 가치는 낮을 수 있습니다.

상태 가치 함수의 관점은 이렇습니다.

"이 위치에 서 있다는 사실 자체가 얼마나 좋은가?"

여기서 흥미로운 점은 상태의 가치는 정책에 따라 달라진다는 것입니다. 출구 옆에 있어도 에이전트가 엉뚱한 방향으로만 움직이는 정책을 가지고 있다면 좋은 결과를 얻지 못할 수 있습니다. 반대로 위험한 곳에 있어도 매우 똑똑한 정책을 가지고 있다면 안전하게 빠져나올 수 있습니다.

그래서 엄밀히는 Vπ(s)처럼 씁니다. 이는 "정책 π를 따를 때 상태 s의 가치"라는 뜻입니다. 같은 상태라도 어떤 정책을 따르느냐에 따라 가치가 달라질 수 있다는 의미입니다.

축구 경기로 비유해 보겠습니다. 우리 팀이 상대 골문 근처에서 공을 잡았습니다. 이 상황은 일반적으로 유리합니다. 하지만 우리 팀의 공격 전술이 엉성하다면 득점 가능성은 낮습니다. 반대로 훌륭한 패스 전술과 슈팅 능력을 갖춘 팀이라면 같은 위치에서도 훨씬 높은 기대를 할 수 있습니다. 상태의 가치는 위치만으로 결정되지 않습니다. 그 상태에서 앞으로 어떻게 행동할지, 즉 정책과 함께 결정됩니다.

상태 가치 함수는 에이전트에게 전체적인 감각을 줍니다. "이 상황은 좋은 편이다", "저 상황은 위험하다", "이곳은 출구에 가까운 느낌이다" 같은 판단입니다. 하지만 여기에는 한 가지 한계가 있습니다. 상태 가치 함수만으로는 당장 어떤 행동을 해야 하는지 바로 알기 어렵습니다.

"이 상황이 좋다"는 것과 "그래서 지금 왼쪽으로 가야 한다"는 것은 다릅니다. 행동을 직접 비교하려면 한 단계 더 자세한 평가가 필요합니다.

행동 가치 함수 Q: 이 행동은 얼마나 좋은가

두 번째는 행동 가치 함수입니다. 보통 Q로 표시합니다.

행동 가치 함수 Q(s, a)는 상태 s에서 행동 a를 했을 때 얼마나 좋은지를 나타냅니다. 조금 더 정확히 말하면, 지금 이 상태에서 이 행동을 선택한 뒤, 이후에는 어떤 정책을 따라 움직일 때 앞으로 받을 보상의 총합이 얼마나 클 것으로 기대되는가를 추정합니다.

상태 가치 함수가 "이 상황이 얼마나 좋은가"를 묻는다면, 행동 가치 함수는 이렇게 묻습니다.

"이 상황에서 이 행동을 하면 얼마나 좋은가?"

예를 들어 같은 칸에 서 있을 때 위로 가는 행동, 아래로 가는 행동, 왼쪽으로 가는 행동, 오른쪽으로 가는 행동의 가치가 각각 다를 수 있습니다. 위로 가면 벽에 부딪히고, 오른쪽으로 가면 출구에 가까워지고, 아래로 가면 함정에 가까워질 수 있습니다. 이때 Q(s, 위), Q(s, 아래), Q(s, 왼쪽), Q(s, 오른쪽)은 서로 다른 값을 가질 것입니다.

행동 가치 함수는 정책과 아주 직접적으로 연결됩니다. 각 행동의 Q값을 알고 있다면, 에이전트는 가장 높은 Q값을 가진 행동을 선택할 수 있습니다. 즉 "여기서는 오른쪽의 Q값이 가장 높으니 오른쪽으로 가자"라고 결정할 수 있습니다.

이 점 때문에 Q는 강화학습에서 매우 중요한 역할을 합니다. 뒤에서 배우게 될 Q-learning은 이름 그대로 Q값을 학습하는 알고리즘입니다. 에이전트는 여러 행동을 해 보면서 "이 상태에서 이 행동은 생각보다 좋았네", "저 행동은 당장은 좋아 보였지만 나중에 손해였네"라고 Q값을 고쳐 갑니다.

행동 가치 함수는 마치 메뉴판의 추천 점수와 비슷합니다. 식당에 들어갔다는 상태만으로는 무엇을 먹을지 결정하기 어렵습니다. 하지만 각 메뉴에 대한 기대 만족도가 있다면 선택이 쉬워집니다. 김치찌개 8점, 비빔밥 6점, 돈가스 9점이라면 돈가스를 고를 가능성이 높습니다. Q값은 특정 상태에서 가능한 행동들에 붙는 기대 점수입니다.

다만 Q값도 완벽한 예언은 아닙니다. 어디까지나 경험을 통해 추정한 값입니다. 처음에는 틀릴 수 있고, 환경이 바뀌면 다시 배워야 할 수도 있습니다. 강화학습에서 학습이란 결국 이런 추정을 조금씩 더 나은 방향으로 고치는 과정입니다.

V와 Q는 무엇이 다른가

상태 가치 함수와 행동 가치 함수는 비슷해 보이지만 관점이 다릅니다. 상태 가치 함수 V(s)는 상태만 봅니다. 행동 가치 함수 Q(s, a)는 상태와 행동을 함께 봅니다.

미로의 갈림길에 서 있다고 해 봅시다. 상태 가치 함수는 "이 갈림길에 서 있는 것은 꽤 유리하다"라고 말합니다. 출구와 가까울 수도 있고, 선택지가 많을 수도 있기 때문입니다. 하지만 행동 가치 함수는 더 구체적으로 말합니다. "여기서 왼쪽으로 가면 3점, 오른쪽으로 가면 8점, 위로 가면 1점"처럼 행동별로 평가합니다.

둘의 차이를 간단히 정리하면 다음과 같습니다.

상태 가치 함수는 상황의 유리함을 평가하는 데 좋습니다. 행동 가치 함수는 선택지를 비교하는 데 좋습니다. 그래서 행동을 직접 골라야 하는 상황에서는 Q가 특히 유용합니다.

하지만 V가 덜 중요하다는 뜻은 아닙니다. V는 전체적인 상태 평가를 단순하게 만들어 줍니다. 가능한 행동이 너무 많거나, 상태가 복잡할 때 상태의 가치를 예측하는 것은 학습을 안정시키는 데 도움이 됩니다. 뒤에서 배우게 될 Actor-Critic에서는 정책을 담당하는 Actor와 가치를 평가하는 Critic이 함께 등장하는데, 이때 Critic이 상태 가치 함수를 사용해 정책 학습을 도와주는 경우가 많습니다.

이렇게 보면 V와 Q는 서로 경쟁하는 개념이라기보다 서로 다른 해상도의 지도에 가깝습니다. V는 "이 지역은 살기 좋은가?"를 알려주는 지도이고, Q는 "이 교차로에서 어느 방향으로 가야 좋은가?"를 알려주는 내비게이션입니다.

정책과 가치 함수는 서로를 키운다

강화학습에서 정책과 가치 함수는 따로 떨어져 있지 않습니다. 둘은 서로 영향을 주고받습니다.

정책이 있어야 에이전트가 행동합니다. 에이전트가 행동해야 경험이 생깁니다. 경험이 쌓여야 가치 함수를 더 정확하게 만들 수 있습니다. 그리고 가치 함수가 좋아지면 더 나은 정책을 만들 수 있습니다.

이 관계는 요리사의 성장 과정과 비슷합니다. 처음 요리사는 감으로 재료를 넣습니다. 이것이 정책입니다. 손님 반응을 보고 어떤 조합이 맛있는지 배웁니다. 이것이 가치 평가입니다. 평가가 쌓이면 다음에는 더 나은 레시피를 선택합니다. 정책이 개선되는 것입니다.

강화학습의 많은 알고리즘은 이 순환을 반복합니다.

• 현재 정책으로 행동한다.

• 행동의 결과로 보상과 다음 상태를 관찰한다.

• 그 경험을 바탕으로 가치 평가를 고친다.

• 더 높은 가치를 기대할 수 있는 방향으로 정책을 개선한다.

이 반복이 바로 강화학습의 심장 박동입니다.

여기서 중요한 갈림길이 생깁니다. 어떤 알고리즘은 가치 함수를 중심에 둡니다. 먼저 각 행동이 얼마나 좋은지 Q값을 배운 다음, 가장 좋은 행동을 고릅니다. 이런 방식을 가치 기반 방법이라고 부릅니다. Q-learning과 Deep Q-Network가 대표적인 예입니다.

반대로 어떤 알고리즘은 정책 자체를 직접 개선합니다. "좋은 행동의 확률은 높이고, 나쁜 행동의 확률은 낮추자"라는 식입니다. 이런 방식을 정책 기반 방법이라고 부릅니다. 뒤에서 배울 Policy Gradient가 여기에 속합니다.

그리고 두 방식을 함께 사용하는 방법도 있습니다. 정책은 행동을 선택하고, 가치 함수는 그 행동이 얼마나 좋았는지 평가합니다. 배우와 비평가가 함께 훈련하는 구조입니다. 이것이 Actor-Critic의 기본 아이디어입니다.

결국 강화학습 알고리즘의 큰 갈래는 두 질문에서 나뉩니다.

• 무엇을 좋다고 평가할 것인가?

• 그 평가를 바탕으로 어떻게 행동할 것인가?

• 행동 전략 자체를 직접 바꿀 것인가, 아니면 가치 평가를 먼저 배울 것인가?

이 질문들을 붙잡고 있으면 앞으로 나올 알고리즘들이 훨씬 덜 낯설게 느껴집니다.

좋은 정책은 좋은 가치 판단에서 나온다

정책과 가치 함수의 관계를 조금 더 생활 속 예로 생각해 봅시다. 당신이 처음 가는 도시에서 하루 여행을 한다고 해 보겠습니다. 아침에 호텔을 나와 어디로 갈지 정해야 합니다. 박물관, 시장, 공원, 전망대가 후보입니다.

정책은 현재 위치와 시간, 날씨를 보고 다음 목적지를 정하는 여행 전략입니다. "비가 오면 박물관으로 간다", "날씨가 맑으면 전망대에 먼저 간다", "점심시간이면 시장 근처로 간다" 같은 규칙입니다.

상태 가치 함수는 지금 상황의 유리함을 평가합니다. "아직 오전이고 교통이 편하니 좋은 상태다", "비가 많이 오고 배터리도 부족하니 불리한 상태다"처럼 판단합니다.

행동 가치 함수는 지금 할 수 있는 선택을 비교합니다. "지금 박물관에 가면 만족도가 높을까?", "지금 전망대에 가면 줄이 길지 않을까?", "시장에 먼저 가면 점심까지 해결할 수 있지 않을까?"처럼 각 행동의 기대 결과를 따집니다.

여행을 많이 해 볼수록 판단은 나아집니다. 처음에는 유명한 곳만 따라가다가 너무 붐비는 시간을 만나기도 합니다. 몇 번 경험하면 "이 시간대에는 시장이 좋고, 전망대는 해 질 무렵이 좋다"는 감각이 생깁니다. 이것이 가치 함수가 좋아지는 과정입니다. 그리고 그 평가가 좋아질수록 여행 전략, 즉 정책도 좋아집니다.

강화학습 에이전트도 다르지 않습니다. 처음에는 어설픈 정책으로 움직입니다. 때로는 벽에 부딪히고, 때로는 함정에 빠지고, 우연히 보상을 얻기도 합니다. 하지만 그 경험을 통해 어떤 상태가 유리한지, 어떤 행동이 좋은지 조금씩 배웁니다. 그리고 더 나은 행동을 선택하는 정책으로 바뀝니다.

당장의 보상이 아니라 기대되는 미래를 본다

정책과 가치 함수를 이해할 때 자주 생기는 오해가 있습니다. 가치가 높다는 말이 "지금 당장 보상이 크다"는 뜻이라고 생각하는 것입니다. 하지만 강화학습에서 가치는 보통 미래까지 포함한 기대값입니다.

게임에서 체력 회복 아이템이 바로 앞에 있다고 해 봅시다. 먹으면 즉시 보상을 받을 수 있습니다. 그런데 그 아이템을 먹으러 가는 길에 강한 적이 숨어 있다면 어떨까요? 당장의 보상은 좋아 보여도 장기적으로는 위험한 선택일 수 있습니다.

반대로 아무 보상도 없는 좁은 통로가 있습니다. 지금은 지루해 보입니다. 하지만 그 통로 끝에 보스방을 피해서 갈 수 있는 안전한 길이 있다면, 그 통로의 가치는 높을 수 있습니다.

강화학습의 가치 함수는 이런 장기적인 관점을 담으려 합니다. 그래서 "보상"과 "가치"는 구분해야 합니다. 보상은 환경이 한 순간에 주는 신호입니다. 가치는 그 신호들이 앞으로 어떻게 이어질지에 대한 에이전트의 예측입니다.

이 차이를 이해하면 강화학습이 왜 어려운지도 보입니다. 에이전트는 어떤 행동의 결과가 당장 나타나지 않을 때도 배워야 합니다. 지금 한 선택이 열 단계 뒤의 성공에 영향을 줄 수 있습니다. 그래서 가치 함수는 단순한 점수판이 아니라 미래를 바라보는 망원경에 가깝습니다.

정책만 있어도 될까, 가치만 있어도 될까

그렇다면 정책과 가치 함수 중 하나만 있으면 안 될까요?

정책만 있으면 행동은 할 수 있습니다. 실제로 정책 기반 방법은 정책을 직접 학습합니다. 하지만 어떤 행동이 왜 좋은지 평가하는 신호가 약하면 학습이 불안정해질 수 있습니다. 무작정 행동 확률을 바꾸다 보면 우연한 성공과 진짜 좋은 전략을 구분하기 어려울 때가 있습니다.

가치 함수만 있으면 평가를 할 수 있습니다. 특히 Q값을 알고 있다면 가장 좋은 행동을 고를 수 있습니다. 하지만 복잡한 환경에서는 모든 상태와 행동의 가치를 정확히 계산하기 어렵습니다. 행동이 연속적인 값일 때, 예를 들어 로봇 팔의 각도를 아주 미세하게 조절해야 할 때는 모든 행동을 하나씩 비교하기가 쉽지 않습니다.

그래서 현대 강화학습에서는 정책과 가치 함수를 함께 다루는 경우가 많습니다. 정책은 행동을 만들어 내고, 가치 함수는 그 행동을 평가합니다. 정책은 에이전트의 손과 발이고, 가치 함수는 머릿속의 판단 기준입니다.

이 관점은 나중에 언어 모델과 RLHF를 이해할 때도 중요합니다. 언어 모델은 어떤 답변을 생성할지 결정하는 정책처럼 볼 수 있습니다. 인간의 선호를 학습한 보상 모델은 어떤 답변이 더 좋은지 평가하는 역할을 합니다. 그리고 이 평가를 바탕으로 모델의 답변 전략을 조정합니다. 지금 배우는 정책과 가치 함수의 언어가 훗날 거대한 언어 모델의 정렬 문제로 이어지는 것입니다.

강화학습의 첫 번째 지도

이번 장의 핵심은 단순합니다. 정책은 행동의 전략이고, 가치 함수는 좋음을 평가하는 기준입니다. 상태 가치 함수 V는 "이 상황이 얼마나 유리한가"를 봅니다. 행동 가치 함수 Q는 "이 상황에서 이 행동을 하면 얼마나 좋은가"를 봅니다.

이 네 문장만 머릿속에 남아도 충분합니다.

정책은 선택합니다. V는 상태를 평가합니다. Q는 행동을 평가합니다. 강화학습은 이 선택과 평가를 반복하며 더 나은 전략을 찾아갑니다.

앞으로 우리는 더 깊은 질문으로 들어갑니다. 당장 작은 보상을 받을 것인가, 아니면 나중의 큰 보상을 기다릴 것인가? 이미 좋아 보이는 행동을 계속할 것인가, 아니면 아직 모르는 행동을 시험해 볼 것인가? 이 질문들은 모두 정책과 가치 함수 위에서 움직입니다.

에이전트가 세상을 배우는 일은 결국 좋은 선택을 배워 가는 일입니다. 그리고 좋은 선택은 좋은 평가에서 시작됩니다.