정답이 없을 때 AI는 어떻게 배울까

정답을 외우는 AI와 행동을 배우는 AI

우리는 보통 인공지능을 "정답을 맞히는 기계"로 떠올립니다. 사진을 보여 주면 고양이인지 강아지인지 맞히고, 이메일을 읽고 스팸인지 아닌지 분류하고, 문장을 보고 다음에 올 단어를 예측합니다. 이런 방식의 학습에서는 대개 정답이 붙어 있습니다. 사진 아래에는 "고양이"라는 라벨이 있고, 문제 옆에는 모범 답안이 있으며, 모델은 자신의 예측과 정답을 비교하면서 조금씩 나아집니다.

그런데 세상에는 정답표가 없는 문제가 훨씬 많습니다.

게임 캐릭터가 미로에서 출구를 찾아야 한다고 해 봅시다. 매 순간 "왼쪽으로 가는 것이 정답이다", "오른쪽으로 가는 것이 정답이다"라고 누가 알려 주지 않습니다. 로봇이 컵을 집어야 할 때도 마찬가지입니다. 손목을 몇 도 돌리고, 손가락에 힘을 얼마나 주고, 어느 순간 멈춰야 하는지를 모든 상황마다 정답 데이터로 준비하기는 어렵습니다. 대화형 AI가 사용자에게 더 도움이 되는 답변을 해야 할 때도 단 하나의 정답 문장이 있는 것은 아닙니다. 더 친절한 답, 더 안전한 답, 더 정확한 답, 더 유용한 답 사이에서 계속 선택해야 합니다.

강화학습은 바로 이런 문제를 다룹니다. 정답을 보고 따라 하는 학습이 아니라, 행동해 보고 그 결과를 통해 더 나은 선택을 배워 가는 학습입니다. 그래서 강화학습의 중심에는 "정답"보다 "보상"이 있습니다. 정답은 "이것이 맞다"라고 말해 주지만, 보상은 "이번 행동은 좋았다" 또는 "별로였다"라고 알려 줍니다. 정답이 답안지라면, 보상은 게임 점수에 가깝습니다.

보상은 답을 알려 주지 않는다

지도학습에서는 모델이 고양이 사진을 강아지라고 예측하면 곧바로 틀렸다는 사실을 알 수 있습니다. 왜냐하면 데이터에 정답 라벨이 붙어 있기 때문입니다. 모델은 "강아지가 아니라 고양이였구나"라고 배웁니다. 이때 학습 신호는 꽤 직접적입니다. 무엇이 맞고 무엇이 틀렸는지가 비교적 분명합니다.

강화학습에서는 상황이 다릅니다. 에이전트가 어떤 행동을 했더니 점수를 조금 얻었을 수도 있고, 한참 뒤에야 큰 보상을 받을 수도 있습니다. 때로는 지금 한 행동이 당장은 손해처럼 보이지만 나중에 큰 이득으로 이어집니다. 반대로 지금은 점수를 얻었지만 결국 게임을 망치는 선택일 수도 있습니다.

예를 들어 미로 게임에서 캐릭터가 가까운 동전을 먹기 위해 옆길로 빠졌다고 해 봅시다. 당장은 점수가 올라갑니다. 하지만 그 길이 막다른 길이라면 출구에 도착하는 데 더 오래 걸릴 수 있습니다. 이때 "동전을 먹은 행동"은 좋은 행동일까요, 나쁜 행동일까요? 답은 단순하지 않습니다. 강화학습이 어려우면서도 흥미로운 이유가 여기에 있습니다. 행동의 가치는 그 순간만 보고 판단하기 어렵습니다.

보상은 힌트이지 정답지가 아닙니다. 에이전트는 보상을 통해 추측합니다. "이런 상황에서는 이 행동이 괜찮았던 것 같다." "저 행동은 나중에 손해로 이어졌던 것 같다." 이 추측이 쌓이고, 수정되고, 다시 시험되면서 전략이 만들어집니다.

에이전트는 작은 세계에서 시행착오를 한다

강화학습에서 행동하는 주체를 에이전트라고 부릅니다. 게임 속 캐릭터일 수도 있고, 로봇 팔일 수도 있고, 주식 매매 프로그램일 수도 있으며, 대화형 AI일 수도 있습니다. 에이전트는 자신이 놓인 세계를 관찰하고, 그 안에서 행동을 선택합니다. 그러면 세계는 반응합니다. 점수를 주거나, 위치를 바꾸거나, 새로운 화면을 보여 주거나, 대화의 다음 흐름을 만들어 냅니다.

게임 캐릭터를 생각하면 가장 쉽습니다. 캐릭터는 현재 위치와 주변 벽, 적의 위치, 남은 체력 같은 정보를 봅니다. 그리고 위로 갈지, 공격할지, 피할지, 아이템을 사용할지 선택합니다. 행동을 하면 게임 세계가 바뀝니다. 적에게 맞을 수도 있고, 점수를 얻을 수도 있고, 다음 방으로 넘어갈 수도 있습니다. 캐릭터는 수많은 시도를 통해 어떤 상황에서 어떤 행동이 유리한지 배워 갑니다.

로봇도 비슷합니다. 로봇 청소기는 방의 구조를 완벽히 알지 못한 채 움직입니다. 벽에 가까워지면 방향을 바꾸고, 먼지가 많은 곳을 지나면 청소 성과가 올라갑니다. 로봇 팔은 물체를 잡기 위해 손을 뻗고, 실패하면 다시 각도와 힘을 조정합니다. 처음에는 어설프지만, 성공과 실패의 흔적이 쌓이면 점점 더 그럴듯한 움직임이 나옵니다.

대화형 AI에서도 같은 그림을 볼 수 있습니다. 사용자의 질문이 주어졌을 때 AI는 답변을 생성합니다. 그 답변이 사용자에게 도움이 되었는지, 안전했는지, 선호되는 답변이었는지를 피드백으로 받을 수 있습니다. 여기서 보상은 게임 점수처럼 눈에 보이는 숫자일 수도 있고, 사람이 두 답변 중 어느 쪽을 더 좋아하는지 고르는 선택일 수도 있습니다. 중요한 점은 같습니다. AI는 단순히 문장을 외우는 것이 아니라, 어떤 답변 방식이 더 좋은 결과를 만드는지 배워 갑니다.

강화학습의 기본 루프

이 책 전체를 관통하는 핵심 프레임은 간단합니다. 강화학습은 복잡한 수식으로도 설명할 수 있지만, 먼저 이 흐름을 머릿속에 넣어 두면 훨씬 편해집니다.

• 상태를 본다.

• 행동을 선택한다.

• 보상을 받는다.

• 다음 상태로 이동한다.

• 장기 보상을 높이는 전략을 배운다.

여기서 상태는 에이전트가 현재 보고 있는 상황입니다. 미로에서의 위치, 게임 화면, 로봇 센서 값, 대화의 앞부분이 모두 상태가 될 수 있습니다. 행동은 에이전트가 선택할 수 있는 일입니다. 위로 이동하기, 점프하기, 물체 잡기, 문장 생성하기가 여기에 들어갑니다. 보상은 행동의 결과에 대한 신호입니다. 점수를 얻거나 잃는 것, 목표에 가까워지는 것, 사람이 더 낫다고 평가하는 것이 보상이 됩니다.

이 루프를 반복하면 에이전트는 경험을 얻습니다. 처음에는 거의 아무것도 모릅니다. 그래서 엉뚱한 행동을 많이 합니다. 벽으로 걸어가고, 구덩이에 빠지고, 필요 없는 말을 하고, 컵을 놓칩니다. 하지만 그 실패가 아무 의미 없는 것은 아닙니다. 강화학습에서 실패는 데이터입니다. 에이전트는 실패를 통해 "이쪽은 별로구나"를 배우고, 성공을 통해 "이 방향은 가능성이 있구나"를 배웁니다.

물론 에이전트가 사람처럼 후회하거나 깨달음을 얻는 것은 아닙니다. 실제로는 숫자가 바뀝니다. 어떤 상태에서 어떤 행동을 선택할 확률이 조금 올라가거나 내려갑니다. 어떤 행동의 기대 가치가 수정됩니다. 하지만 큰 그림에서는 우리가 게임을 익히는 과정과 닮아 있습니다. 처음 하는 게임에서는 버튼을 이것저것 눌러 보다가, 점점 적의 패턴을 파악하고, 위험한 길을 피하고, 점수를 많이 얻는 방법을 찾게 됩니다.

당장의 점수와 나중의 승리는 다르다

강화학습에서 가장 중요한 감각 중 하나는 장기 보상입니다. 에이전트의 목표는 단순히 지금 당장 보상을 많이 받는 것이 아닙니다. 앞으로 받을 보상까지 고려했을 때 전체적으로 더 좋은 선택을 하는 것입니다.

체스나 바둑을 떠올려 봅시다. 눈앞의 말을 하나 잡는 것은 당장 좋아 보일 수 있습니다. 하지만 그 대가로 중요한 위치를 내주거나, 몇 수 뒤에 큰 공격을 당한다면 좋은 선택이 아닙니다. 반대로 지금은 돌 하나를 희생하는 것처럼 보여도, 나중에 더 큰 집을 만들거나 상대의 진로를 막는다면 훌륭한 선택일 수 있습니다. 강화학습은 이런 종류의 판단을 배우려 합니다.

게임에서도 마찬가지입니다. 가까운 보너스 아이템을 먹으면 점수가 오르지만, 그 때문에 강한 적에게 둘러싸일 수 있습니다. 로봇이 컵을 빨리 잡으려고 하면 당장은 시간 보상이 좋아 보일 수 있지만, 컵을 떨어뜨리면 전체 목표는 실패합니다. 대화형 AI도 사용자가 듣고 싶어 하는 말을 즉시 해 주면 만족도가 올라가는 듯 보일 수 있지만, 부정확하거나 위험한 답변이라면 장기적으로는 나쁜 결과입니다.

그래서 강화학습은 "지금 좋은가?"만 묻지 않습니다. "이 행동이 다음 상황을 어떻게 바꾸는가?", "그 다음에는 어떤 선택지가 열리는가?", "결국 목표에 가까워지는가?"를 함께 묻습니다. 이 관점이 강화학습을 단순한 점수 따기와 구분합니다.

전략은 행동의 습관이다

강화학습에서 에이전트가 배우는 것은 전략입니다. 더 정확한 용어로는 정책이라고 부릅니다. 정책은 어떤 상태에서 어떤 행동을 할지 정하는 규칙 또는 습관입니다. 사람이 "비 오는 날에는 우산을 챙긴다"라는 행동 습관을 갖듯이, 에이전트는 "이런 상태에서는 이 행동이 좋다"라는 선택 방식을 배웁니다.

처음의 정책은 서툽니다. 미로에서 무작정 움직이고, 게임에서 계속 같은 실수를 하고, 로봇 팔이 물체를 밀어 버립니다. 하지만 보상을 따라 정책이 조금씩 바뀝니다. 좋은 결과를 만든 행동은 더 자주 선택되고, 나쁜 결과를 만든 행동은 덜 선택됩니다. 시간이 지나면 겉으로 보기에는 제법 영리해 보이는 행동이 나타납니다. 사실 그 영리함은 수많은 시도와 보상 신호가 남긴 흔적입니다.

여기서 주의할 점이 있습니다. 강화학습은 마법이 아닙니다. 보상을 잘못 설계하면 에이전트는 우리가 원하지 않는 방식으로 똑똑해질 수 있습니다. 예를 들어 청소 로봇에게 "먼지를 발견한 횟수"만 보상으로 주면, 로봇은 먼지를 치우기보다 먼지가 많은 곳을 계속 맴도는 이상한 전략을 배울지도 모릅니다. 게임 AI에게 점수만 보상으로 주면 버그를 이용해 점수를 올리는 방법을 찾아낼 수도 있습니다. 대화형 AI에게 사용자의 즉각적인 반응만 보상으로 주면, 사실보다 듣기 좋은 말에 치우칠 수도 있습니다.

이것이 보상 설계가 중요한 이유입니다. 에이전트는 우리가 말한 목표를 배우는 것이 아니라, 우리가 보상으로 표현한 목표를 배웁니다. 둘이 어긋나면 결과도 어긋납니다.

알파고 너머의 강화학습

많은 사람이 강화학습을 알파고와 함께 기억합니다. 바둑이라는 어려운 문제에서 인간 최고 수준의 플레이어를 이긴 사건은 강화학습의 상징처럼 남았습니다. 그래서 강화학습은 왠지 거대한 컴퓨터와 천재적인 연구자들만 다루는 먼 기술처럼 느껴지기도 합니다.

하지만 강화학습의 핵심 생각은 훨씬 가까이에 있습니다. 우리는 매일 비슷한 방식으로 배웁니다. 새로운 게임을 할 때, 낯선 도시에서 길을 찾을 때, 운동 자세를 고칠 때, 대화를 더 잘 이어 가려고 할 때 우리는 시도하고, 결과를 보고, 다음 선택을 바꿉니다. 강화학습은 이 과정을 인공지능의 언어로 정리한 것입니다.

물론 실제 알고리즘은 점점 정교해집니다. Q-learning은 행동의 가치를 표로 배우려 하고, Deep Q-Network는 신경망을 이용해 더 복잡한 상태를 다룹니다. Policy Gradient는 좋은 행동이 더 자주 나오도록 정책 자체를 조정합니다. Actor-Critic은 행동하는 모델과 평가하는 모델을 함께 사용합니다. PPO는 너무 급격한 변화로 학습이 망가지지 않도록 조심스럽게 정책을 개선합니다. 그리고 이 흐름은 오늘날 대형 언어 모델의 정렬과 RLHF, 즉 인간 피드백을 통한 강화학습으로 이어집니다.

하지만 이 모든 내용의 출발점은 여전히 같습니다. 상태를 보고, 행동을 선택하고, 보상을 받고, 다음 상태로 이동하고, 장기적으로 더 좋은 전략을 배운다는 것. 이 단순한 루프를 놓치지 않으면 강화학습의 복잡한 알고리즘도 하나씩 이해할 수 있습니다.

이 책에서 배우게 될 감각

이 책은 강화학습을 처음 만나는 독자가 "수식의 벽" 앞에서 멈추지 않도록, 먼저 행동과 선택의 언어로 설명합니다. 수식은 필요할 때 등장하겠지만, 핵심은 언제나 직관입니다. 에이전트가 무엇을 보고 있는지, 어떤 행동을 고를 수 있는지, 보상이 무엇을 의미하는지, 왜 지금의 선택이 미래의 결과와 연결되는지를 계속 붙잡을 것입니다.

앞으로 우리는 작은 격자 세계에서 출발합니다. 에이전트가 위, 아래, 왼쪽, 오른쪽으로 움직이며 목표 지점에 도착하는 단순한 환경을 만들어 볼 것입니다. 그다음 Q-learning으로 길을 찾고, CartPole처럼 균형을 잡는 문제를 해결하고, 정책 기반 방법과 Actor-Critic의 감각을 익힙니다. 마지막에는 대형 언어 모델에서 보상이 어떻게 적용되는지, 사람이 어떤 답변을 더 선호하는지로 보상 모델을 만드는 과정, 그리고 RLHF와 DPO가 왜 등장했는지까지 이어 갑니다.

처음부터 모든 용어를 완벽히 이해할 필요는 없습니다. 강화학습을 배울 때 가장 먼저 가져야 할 것은 하나의 장면입니다. 작은 에이전트가 있습니다. 에이전트는 아직 세상을 잘 모릅니다. 그래서 움직입니다. 부딪히고, 실패하고, 가끔 성공합니다. 그때마다 작은 신호를 받습니다. 이 행동은 조금 좋았다. 저 행동은 좋지 않았다. 그리고 어느 순간, 전보다 나은 길을 선택하기 시작합니다.

강화학습은 정답을 외우는 기술이 아닙니다. 보상으로 행동을 배우는 기술입니다. 이 책의 여정은 바로 그 한 문장에서 시작합니다.