인공지능은 언제나 정답을 보고 배우는 것처럼 느껴집니다. 하지만 게임에서 다음 수를 고르고, 로봇이 균형을 잡고, 언어 모델이 더 도움이 되는 답변을 선택해야 하는 순간에는 정답표가 없습니다. 대신 AI는 행동해 보고, 결과를 관찰하고, 보상을 통해 더 나은 선택을 배워야 합니다.
이 책은 강화학습을 어려운 수식의 세계로 곧장 밀어 넣지 않습니다. 먼저 에이전트, 환경, 상태, 행동, 보상이라는 기본 장면을 붙잡고, Grid World와 CartPole 같은 작은 실습을 통해 Q-learning, DQN, Policy Gradient, Actor-Critic, Advantage, PPO가 왜 등장했는지 차근차근 설명합니다.
후반부에서는 이 흐름을 대형 언어 모델과 연결합니다. 문장 생성이 어떻게 순차적 행동 선택이 되는지, 인간 선호가 어떻게 보상 모델로 바뀌는지, RLHF와 PPO가 언어 모델 정렬에서 어떤 역할을 하는지, 그리고 DPO 같은 선호 최적화가 왜 등장했는지까지 이어 갑니다.
강화학습은 알파고 같은 특별한 사례에만 쓰이는 기술이 아닙니다. 게임 AI, 로봇, 추천 시스템, 도구를 사용하는 AI 에이전트, LLM 정렬을 이해하는 공통 언어입니다. 이 책을 읽고 나면 독자는 "AI가 무엇을 상태로 보고, 어떤 행동을 선택하며, 어떤 보상을 따라 배우는가"라는 질문으로 행동하는 인공지능을 바라볼 수 있게 됩니다.
