강화학습은 머신러닝과 무엇이 다른가

문제집을 푸는 AI와 게임을 하는 AI

머신러닝을 처음 배울 때 가장 익숙한 장면은 문제집을 푸는 모습입니다. 사진이 하나 주어지고, 정답이 "고양이"인지 "강아지"인지 알려 줍니다. 모델은 수많은 사진과 정답을 보며 조금씩 규칙을 배웁니다. 다음에 새로운 사진이 들어오면 "이건 고양이일 가능성이 높다"라고 예측합니다.

이것이 지도학습입니다. 지도학습에는 선생님이 있습니다. 입력이 있고, 그에 맞는 정답이 있습니다. 모델은 자신의 예측과 정답을 비교하면서 틀린 만큼 고쳐 갑니다. 시험을 보고 채점표를 받는 학생과 비슷합니다.

그런데 세상에는 정답표가 없는 문제가 많습니다. 게임 캐릭터가 던전에 들어갔다고 해 봅시다. 지금 왼쪽으로 가야 할까요, 오른쪽으로 가야 할까요? 당장 오른쪽으로 가면 동전을 하나 얻을 수 있지만, 왼쪽으로 가면 멀리 돌아가서 더 큰 보물을 찾을 수도 있습니다. 누군가가 매 순간 "정답 행동은 왼쪽입니다"라고 알려 주지 않습니다. 대신 행동한 뒤에 결과가 옵니다. 동전을 얻거나, 함정에 빠지거나, 보스를 만나거나, 게임에서 승리합니다.

강화학습은 바로 이런 상황을 다룹니다. 정답을 외우는 것이 아니라, 행동해 보고, 결과를 겪고, 보상을 통해 더 나은 선택 방식을 배웁니다.

한 문장으로 말하면 강화학습은 에이전트가 환경과 상호작용하면서 장기적인 보상을 높이는 행동 전략을 배우는 방법입니다.

여기서 중요한 단어는 "행동"과 "장기적"입니다. 강화학습은 단순히 맞히는 기술이 아닙니다. 무엇을 할지 선택하는 기술입니다. 그리고 지금 당장의 이득만 보지 않습니다. 여러 선택이 이어진 끝에 어떤 결과가 나오는지를 봅니다.

지도학습, 비지도학습, 강화학습

머신러닝의 큰 가지를 아주 단순하게 나누면 지도학습, 비지도학습, 강화학습으로 볼 수 있습니다. 물론 실제 연구와 산업 현장에서는 이 경계가 섞이기도 하지만, 처음에는 다음처럼 이해하면 충분합니다.

지도학습에서는 데이터가 보통 이렇게 생겼습니다.

"이 사진 → 고양이"

"이 이메일 → 스팸"

"이 집의 정보 → 가격 5억 원"

모델은 입력을 보고 정답에 가까운 출력을 내도록 훈련됩니다. 틀리면 손실이 커지고, 맞히면 손실이 작아집니다. 학습의 목표가 비교적 분명합니다. 주어진 정답에 가까워지는 것입니다.

비지도학습은 정답표가 없는 데이터에서 구조를 찾습니다. 예를 들어 쇼핑몰 고객 데이터를 보고 비슷한 구매 패턴을 가진 사람들을 묶을 수 있습니다. 누구도 "이 고객은 A그룹이 정답입니다"라고 알려 주지 않아도, 데이터 속 거리와 패턴을 이용해 군집을 찾습니다.

강화학습은 다릅니다. 강화학습의 데이터는 처음부터 예쁘게 정리된 문제집처럼 주어지지 않습니다. 에이전트가 직접 움직이며 데이터를 만들어 냅니다. 행동을 하면 환경이 바뀌고, 그 결과로 보상을 받습니다. 그리고 그 경험이 다음 행동을 바꿉니다.

이 차이는 생각보다 큽니다. 지도학습 모델은 보통 이미 모아 둔 데이터 위에서 훈련됩니다. 반면 강화학습 에이전트는 학습하는 동안 세상에 영향을 미칩니다. 게임에서는 캐릭터를 움직이고, 로봇에서는 팔을 뻗고, 추천 시스템에서는 사용자에게 실제 콘텐츠를 보여 줍니다. 행동이 환경을 바꾸고, 바뀐 환경이 다시 다음 데이터를 만듭니다.

그래서 강화학습은 더 생생합니다. 동시에 더 어렵습니다.

정답 대신 보상이 온다

강화학습에서 에이전트는 매 순간 정답을 받지 않습니다. 대신 보상을 받습니다. 보상은 행동이 얼마나 좋았는지 알려 주는 신호입니다.

하지만 보상은 정답과 다릅니다. 지도학습의 정답은 보통 "이 입력에는 이 출력이 맞다"라고 직접 말해 줍니다. 강화학습의 보상은 "방금 일어난 결과가 좋았다" 또는 "나빴다" 정도만 알려 줍니다.

예를 들어 미로 찾기 게임을 생각해 봅시다. 에이전트가 위, 아래, 왼쪽, 오른쪽 중 하나를 선택해 움직입니다. 목표 지점에 도착하면 +10점을 받고, 벽에 부딪히면 -1점을 받는다고 합시다.

여기서 보상은 말합니다.

"목표에 도착한 것은 좋다."

"벽에 부딪힌 것은 나쁘다."

하지만 보상은 친절하게 이렇게 말해 주지 않습니다.

"처음 위치에서는 오른쪽으로 두 번 가고, 그다음 위로 한 번 가는 것이 최적입니다."

그 전략은 에이전트가 직접 찾아야 합니다. 이것이 강화학습의 핵심입니다. 보상은 힌트일 뿐이고, 에이전트는 그 힌트를 바탕으로 행동 방식을 만들어 갑니다.

이때 뒤에서 계속 등장할 세 가지 개념이 자연스럽게 나옵니다. 보상은 행동의 결과가 얼마나 좋은지 알려 주는 신호입니다. 정책은 어떤 상태에서 어떤 행동을 할지 정하는 전략입니다. 가치 함수는 어떤 상태나 행동이 장기적으로 얼마나 좋은지 추정하는 도구입니다.

아직 이 용어를 완벽히 이해할 필요는 없습니다. 지금은 이렇게만 기억해도 충분합니다. 강화학습은 보상을 보고 정책을 고치며, 가치 함수를 통해 먼 미래의 이득을 계산하려고 합니다.

한 번의 예측이 아니라 이어지는 선택

지도학습에서는 많은 문제가 한 번의 예측으로 끝납니다. 이미지를 보고 고양이인지 강아지인지 맞히면 됩니다. 이메일을 보고 스팸인지 아닌지 판단하면 됩니다. 물론 현실의 서비스에서는 그 예측이 다시 다른 시스템과 연결되지만, 학습 문제 자체는 대개 "입력 하나, 출력 하나"의 형태로 설명할 수 있습니다.

강화학습은 한 번의 선택으로 끝나지 않습니다. 지금의 행동이 다음 상황을 만들고, 다음 상황에서 또 다른 행동을 해야 합니다. 이렇게 선택이 줄줄이 이어집니다.

체스나 바둑을 떠올려 봅시다. 어떤 수가 좋은지 판단하려면 그 한 수만 보면 안 됩니다. 지금은 좋아 보이는 수가 열 수 뒤에 치명적인 약점이 될 수 있습니다. 반대로 지금은 손해처럼 보이는 수가 나중에 큰 공격의 발판이 될 수도 있습니다.

운전도 마찬가지입니다. 차선을 바꾸는 행동 하나는 그 순간의 속도만 바꾸지 않습니다. 몇 초 뒤의 위치, 주변 차량과의 거리, 앞으로 선택할 수 있는 경로까지 바꿉니다. 로봇이 컵을 잡는 문제도 단순하지 않습니다. 손가락을 조금 움직이는 선택이 컵의 기울기와 다음 힘 조절에 영향을 줍니다.

이처럼 여러 단계의 선택이 누적되어 결과를 만드는 문제를 순차적 의사결정 문제라고 부릅니다. 말은 조금 딱딱하지만 뜻은 간단합니다. "지금 선택이 다음 선택의 조건을 바꾸는 문제"입니다.

강화학습은 바로 이 순차적 의사결정을 다루는 머신러닝입니다.

이 관점이 중요합니다. 강화학습을 단순히 "보상을 최대화하는 알고리즘"이라고만 생각하면 뒤에서 헷갈리기 쉽습니다. 강화학습이 어려운 이유는 보상 때문만이 아닙니다. 선택이 이어지고, 그 선택들이 서로 얽히기 때문입니다.

지금 좋은 행동과 나중에 좋은 행동

강화학습을 어렵게 만드는 대표적인 이유는 당장의 보상과 미래의 보상이 다를 수 있다는 점입니다.

게임 속 에이전트가 갈림길에 서 있습니다. 왼쪽 길에는 바로 앞에 작은 동전이 있습니다. 오른쪽 길은 처음에는 아무것도 없어 보이지만 끝까지 가면 큰 보물 상자가 있습니다. 당장의 보상만 보면 왼쪽이 좋습니다. 하지만 장기적인 보상을 보면 오른쪽이 더 좋을 수 있습니다.

사람도 비슷한 문제를 매일 겪습니다. 지금 당장 쉬면 기분이 좋습니다. 하지만 시험을 앞두고 공부하지 않으면 나중에 손해를 볼 수 있습니다. 반대로 운동은 당장 힘들지만 장기적으로 건강이라는 큰 보상을 줍니다.

강화학습 에이전트도 이런 균형을 배워야 합니다. 지금 점수를 얻는 행동과 나중에 더 큰 점수를 얻는 행동을 구분해야 합니다. 그래서 강화학습에서는 "장기 보상"이라는 개념이 중요합니다.

여기서 장기 보상은 미래의 모든 보상을 단순히 더한다는 뜻만은 아닙니다. 미래는 불확실합니다. 내가 오른쪽 길로 갔을 때 정말 보물이 있을 수도 있고, 중간에 함정이 있을 수도 있습니다. 에이전트는 경험을 통해 가능성을 추정해야 합니다. 여러 번 시도하고, 실패하고, 성공하면서 어떤 행동이 장기적으로 더 나은지 배웁니다.

이 때문에 강화학습은 단기 점수 게임이 아니라 전략 게임에 가깝습니다. 좋은 에이전트는 눈앞의 사탕만 보지 않습니다. 사탕 뒤에 있는 문, 문 뒤에 있는 방, 그 방에서 시작될 다음 선택까지 생각합니다.

왜 게임, 로봇, 추천 시스템에서 강화학습이 보일까

강화학습은 특히 "행동이 결과를 바꾸는 문제"에서 자연스럽게 등장합니다. 게임 AI가 대표적입니다. 게임에서는 에이전트가 움직이고, 공격하고, 피하고, 아이템을 선택합니다. 이 행동들이 이어져 승리나 패배를 만듭니다. 정답 행동을 매 순간 사람이 붙여 주기 어렵기 때문에, 에이전트는 보상과 시행착오를 통해 전략을 배웁니다.

로봇 제어에서도 강화학습의 관점이 잘 맞습니다. 로봇 팔이 물체를 집으려면 관절을 어느 정도 움직일지 계속 선택해야 합니다. 바닥을 걷는 로봇은 한 걸음 한 걸음 균형을 잡아야 합니다. 여기에는 이미지 분류처럼 한 번에 정답을 맞히는 문제가 아니라, 몸을 움직이며 상태를 바꾸는 문제가 있습니다.

추천 시스템에서도 강화학습적 사고가 필요해질 수 있습니다. 사용자가 지금 클릭할 만한 콘텐츠 하나를 맞히는 것만 중요하다면 지도학습으로도 접근할 수 있습니다. 하지만 추천은 종종 장기적인 관계와 연결됩니다. 당장 자극적인 콘텐츠를 추천하면 클릭은 늘어날 수 있지만, 사용자가 금방 피로해져 서비스를 떠날 수도 있습니다. 반대로 당장의 클릭률은 조금 낮아도 사용자의 만족과 신뢰를 오래 유지하는 추천이 더 좋은 전략일 수 있습니다.

언어 모델 정렬에서도 강화학습은 중요한 역할을 합니다. 거대한 언어 모델은 다음 단어를 예측하는 방식으로 많은 지식을 배울 수 있습니다. 그러나 "사람이 더 선호하는 답변", "도움이 되는 답변", "위험한 요청을 적절히 거절하는 답변"은 단순한 정답 하나로 정의하기 어렵습니다. 같은 질문에도 여러 답변이 가능하고, 그중 어떤 답변이 더 좋은지는 사람의 선호와 상황에 따라 달라질 수 있습니다.

이때 인간의 피드백을 보상 신호처럼 사용해 모델의 답변 방식을 조정하는 접근이 등장합니다. 뒤에서 다룰 RLHF, 즉 인간 피드백을 통한 강화학습이 여기에 연결됩니다. 지금은 자세한 절차를 몰라도 됩니다. 중요한 것은 언어 모델에서도 "정답 하나를 맞히는 문제"를 넘어 "어떤 답변 행동이 더 바람직한가"를 다루는 순간 강화학습의 언어가 필요해진다는 점입니다.

강화학습이 강력한 이유

강화학습의 매력은 분명합니다. 정답표가 없어도 배울 수 있습니다. 에이전트는 환경 속에서 직접 경험을 쌓고, 더 나은 전략을 찾아갑니다. 사람이 모든 상황에 대한 정답을 미리 써 주지 않아도 됩니다.

이 점은 복잡한 문제에서 특히 강력합니다. 바둑의 모든 가능한 판세에 대해 "이때는 이 수가 정답"이라고 라벨을 붙이는 것은 사실상 불가능합니다. 로봇이 모든 바닥 상태와 물체 모양에 대해 정확한 행동 정답을 받는 것도 어렵습니다. 대화 모델의 모든 질문과 답변에 대해 하나의 절대 정답을 지정하는 것도 현실적이지 않습니다.

강화학습은 이런 문제에서 다른 방식으로 접근합니다. "정답을 모두 알려 줄 수 없다면, 좋은 결과가 무엇인지 알려 주고 직접 찾아가게 하자."

이 아이디어는 단순하지만 강력합니다. 에이전트가 충분히 다양한 경험을 할 수 있고, 보상 신호가 잘 설계되어 있으며, 학습이 안정적으로 진행된다면 강화학습은 사람이 직접 규칙을 짜기 어려운 전략을 발견할 수 있습니다.

그래서 강화학습은 단순한 알고리즘 묶음이 아닙니다. 강화학습은 인공지능을 "예측하는 기계"에서 "행동하는 주체"로 바라보게 만드는 관점입니다.

하지만 공짜 점심은 없다

강화학습은 멋있지만 만능은 아닙니다. 오히려 처음부터 조심스럽게 보아야 합니다. 강화학습은 강력한 만큼 비용이 크고, 불안정하며, 설계가 어렵습니다.

가장 먼저 학습 비용 문제가 있습니다. 강화학습 에이전트는 좋은 전략을 찾기 위해 많은 시행착오를 겪습니다. 게임 속에서는 수백만 번 실패해도 괜찮을 수 있습니다. 버튼을 잘못 눌러 캐릭터가 떨어져도 다시 시작하면 됩니다. 하지만 현실의 로봇이라면 이야기가 달라집니다. 로봇 팔이 수만 번 컵을 떨어뜨리며 학습한다면 비용도 크고 위험할 수도 있습니다.

두 번째는 보상 설계 문제입니다. 보상은 에이전트가 따라갈 나침반입니다. 나침반이 조금만 잘못되어도 에이전트는 이상한 행동을 배울 수 있습니다. 예를 들어 청소 로봇에게 "먼지를 많이 모으면 보상"을 준다고 해 봅시다. 로봇이 정말 똑똑하지만 엉뚱하게 학습한다면, 먼지를 치우기보다 먼지를 일부러 흩뜨린 뒤 다시 모으는 식의 행동을 할 수도 있습니다. 농담처럼 들리지만, 보상을 잘못 정의하면 시스템이 우리가 원하지 않은 지름길을 찾는 일은 실제로 중요한 문제입니다.

세 번째는 학습 안정성 문제입니다. 지도학습에서는 고정된 데이터셋으로 여러 번 훈련할 수 있습니다. 물론 지도학습도 어렵지만, 적어도 데이터가 갑자기 모델의 행동 때문에 바뀌지는 않습니다. 강화학습에서는 에이전트의 정책이 바뀌면 수집되는 경험도 바뀝니다. 어제의 에이전트가 모은 데이터와 오늘의 에이전트가 모은 데이터가 달라집니다. 학습 대상이 움직이는 셈입니다.

네 번째는 평가의 어려움입니다. 어떤 에이전트가 정말 좋아졌는지 판단하려면 여러 상황에서 장기적인 결과를 봐야 합니다. 한두 번 운 좋게 높은 점수를 얻었다고 좋은 정책이라고 말할 수 없습니다. 반대로 좋은 전략도 몇 번의 불운한 상황에서는 나쁜 결과를 낼 수 있습니다.

이런 이유로 강화학습은 항상 균형 있게 보아야 합니다. 멋진 성공 사례만 보면 "모든 문제를 강화학습으로 풀면 되지 않을까?"라는 생각이 들 수 있습니다. 하지만 실제로는 지도학습, 규칙 기반 시스템, 시뮬레이션, 인간 피드백, 최적화 기법과 함께 쓰이는 경우가 많습니다.

강화학습은 강한 도구입니다. 강한 도구일수록 언제 써야 하는지, 언제 쓰지 말아야 하는지를 아는 것이 중요합니다.

강화학습 문제로 바라보는 순간 달라지는 것

같은 문제도 어떤 관점으로 보느냐에 따라 전혀 다르게 보입니다. 예를 들어 "사용자에게 영화를 추천한다"는 문제를 생각해 봅시다.

지도학습 관점에서는 이렇게 물을 수 있습니다.

"이 사용자가 이 영화를 클릭할 확률은 얼마인가?"

강화학습 관점에서는 질문이 조금 달라집니다.

"지금 이 영화를 추천하면, 사용자의 다음 행동과 장기 만족도는 어떻게 달라질까?"

이 차이는 작아 보이지만 매우 큽니다. 첫 번째 질문은 한 번의 예측에 가깝습니다. 두 번째 질문은 시간의 흐름을 포함합니다. 추천 하나가 다음 추천의 조건을 바꾸고, 사용자의 취향 표현과 서비스에 대한 신뢰까지 바꿀 수 있다고 봅니다.

로봇도 마찬가지입니다. 지도학습 관점에서는 "이 이미지에서 로봇 팔의 목표 위치는 어디인가?"라고 물을 수 있습니다. 강화학습 관점에서는 "지금 이만큼 움직이면 다음 상태가 어떻게 되고, 최종적으로 물체를 안정적으로 잡을 가능성이 높아지는가?"라고 묻습니다.

언어 모델에서도 비슷합니다. 단순 예측 관점에서는 "다음에 올 단어는 무엇인가?"가 중심입니다. 강화학습적 관점에서는 "이 답변을 생성하면 사용자가 더 도움이 된다고 느낄까? 안전한가? 지시를 잘 따르는가? 장기적으로 신뢰할 수 있는 대화가 되는가?"를 묻습니다.

강화학습은 질문을 바꿉니다. "정답이 무엇인가?"에서 "어떤 행동이 더 나은 미래를 만드는가?"로 바꿉니다.

이 책에서 사용할 기본 그림

앞으로 이 책에서 우리는 강화학습을 하나의 반복되는 장면으로 생각할 것입니다.

에이전트가 상태를 봅니다. 그 상태에서 행동을 선택합니다. 환경은 그 행동을 받아 다음 상태로 바뀝니다. 에이전트는 보상을 받습니다. 그리고 에이전트는 그 경험을 바탕으로 다음번에는 조금 더 나은 행동을 하려고 합니다.

이 흐름은 단순합니다.

• 상태를 본다.

• 행동을 선택한다.

• 보상을 받는다.

• 다음 상태로 이동한다.

• 장기 보상을 높이는 전략을 배운다.

이 다섯 줄이 강화학습의 뼈대입니다. 뒤에서 MDP, 벨만 방정식, Q-learning, Policy Gradient, Actor-Critic, PPO 같은 이름들이 등장해도 이 그림을 잊지 않으면 길을 잃지 않습니다.

어려운 용어들은 결국 이 질문으로 돌아옵니다.

"지금 이 상태에서 무엇을 해야, 나중에 더 좋은 결과를 얻을까?"

Q-learning은 이 질문에 "각 행동의 가치를 추정해 보자"라고 답합니다. Policy Gradient는 "좋은 행동이 더 자주 나오도록 정책 자체를 조정하자"라고 답합니다. Actor-Critic은 "행동하는 모델과 평가하는 모델을 함께 쓰자"라고 답합니다. PPO는 "정책을 너무 급하게 바꾸지 말고 안정적으로 개선하자"라고 답합니다. RLHF는 "사람이 선호하는 방향을 보상 신호로 삼아 언어 모델의 행동을 조정하자"라고 답합니다.

아직은 이름만 들어도 됩니다. 중요한 것은 모두 같은 뿌리에서 나온다는 점입니다. 강화학습은 행동과 결과의 연결을 배우는 기술입니다.

다음 장으로 가기 전에

이번 장에서는 강화학습이 다른 머신러닝과 무엇이 다른지 살펴보았습니다. 지도학습은 입력과 정답 쌍에서 배우고, 비지도학습은 데이터의 숨은 구조를 찾습니다. 강화학습은 에이전트가 환경 속에서 행동하고, 그 결과로 받은 보상을 통해 장기적으로 더 나은 전략을 배웁니다.

강화학습을 이해할 때 가장 중요한 관점은 순차적 의사결정입니다. 한 번의 예측으로 끝나는 것이 아니라, 지금의 선택이 다음 상태를 만들고 다음 선택에 영향을 줍니다. 그래서 강화학습은 게임, 로봇, 추천 시스템, 언어 모델 정렬처럼 행동의 결과가 누적되는 문제에서 필요해집니다.

동시에 강화학습은 어렵습니다. 많은 경험이 필요하고, 보상 설계가 까다로우며, 학습이 불안정할 수 있습니다. 그래서 이 책은 강화학습을 마법처럼 포장하지 않을 것입니다. 대신 기본 구조부터 차근차근 쌓아 올려, 왜 어떤 알고리즘이 필요해졌는지 자연스럽게 이해해 볼 것입니다.

다음 장에서는 이 반복되는 장면을 더 구체적으로 쪼개 보겠습니다. 행동하는 주체인 Agent, 그 주체가 마주하는 Environment, 현재 상황을 나타내는 State, 선택 가능한 Action, 그리고 학습의 방향을 정하는 Reward를 하나씩 살펴봅니다. 강화학습의 무대가 이제 본격적으로 열립니다.