강화학습 알고리즘을 이름별로 외우면 복잡합니다. AlphaZero는 바둑과 체스, MuZero는 모델 학습, EfficientZero는 샘플 효율처럼 각각 다른 이야기로 보입니다. 하지만 Expert Iteration, 줄여서 ExIt의 관점에서 보면 공통된 구조가 드러납니다.
ExIt은 간단히 말해 느리지만 강한 전문가가 더 좋은 답을 만들고, 빠른 학습자가 그 답을 흡수한 뒤, 다시 더 나은 전문가를 만드는 반복 구조입니다. 원 논문은 전문가와 학습자를 번갈아 개선하는 방식으로 ExIt을 설명했습니다.1
ExIt의 핵심: 탐색은 가르치고, 네트워크는 압축한다
ExIt에서 전문가는 보통 계산을 많이 씁니다. 여러 가능성을 시뮬레이션하거나 트리 탐색을 통해 현재 모델만으로는 찾기 어려운 결정을 찾아냅니다. 느리지만 더 강한 판단을 만드는 쪽입니다.
반대로 학습자는 빠릅니다. 처음에는 약하지만, 전문가가 만든 선택이나 평가를 따라 하며 정책 또는 가치 함수를 배웁니다. 이렇게 학습된 모델은 이후 전문가의 탐색을 더 잘 안내합니다.
중요한 점은 이 과정이 단순한 모방 학습이 아니라는 것입니다. 매 반복마다 현재 학습자보다 조금 더 강한 전문가를 만들고, 그 전문가의 판단을 다시 학습자에게 압축합니다. 그래서 ExIt은 “좋은 데이터를 모아 학습한다”보다 “현재 모델을 이용해 더 나은 교사를 계속 만든다”에 가깝습니다.
AlphaZero, MuZero, EfficientZero는 무엇이 다른가
이 관점에서 보면 AlphaZero, MuZero, EfficientZero의 차이는 “전문가를 어떻게 만들고, 학습자가 무엇을 배우는가”에 있습니다.
AlphaZero는 규칙이 명확한 환경에서 몬테카를로 트리 탐색과 신경망을 결합했습니다.2 탐색은 전문가 역할을 하고, 신경망은 탐색 결과를 정책과 가치로 압축합니다. 학습된 신경망은 다음 탐색을 더 효율적으로 안내하며, 이 루프가 성능을 끌어올립니다.
MuZero는 환경의 규칙을 그대로 알지 않아도 됩니다.3 대신 행동에 필요한 동역학을 내부 모델로 학습하고, 그 모델 위에서 계획합니다. ExIt 관점에서는 전문가가 실제 규칙이 아니라 학습된 모델을 바탕으로 탐색한다고 볼 수 있습니다.
EfficientZero는 같은 계열의 아이디어를 샘플 효율 문제로 확장합니다.4 적은 환경 상호작용으로도 잘 배우기 위해 모델 기반 학습과 계획을 더 정교하게 다룹니다. 여기서도 핵심은 같습니다. 제한된 데이터 안에서 더 나은 전문가 신호를 만들고, 이를 학습자가 효과적으로 흡수하게 하는 것입니다.
ExIt을 볼 때 던져야 할 질문
ExIt은 특정 알고리즘 하나를 뜻하기보다, 강화학습 시스템을 이해하는 사고틀에 가깝습니다. 실제 알고리즘을 볼 때는 다음 세 가지 질문이 유용합니다.
첫째, 전문가는 정말 학습자보다 강한가?
탐색이나 계획이 부정확하면 학습자는 더 나은 판단이 아니라 오류를 따라 배울 수 있습니다.
둘째, 전문가의 판단을 무엇으로 압축하는가?
정책만 배울 수도 있고, 가치 함수를 함께 배울 수도 있으며, MuZero처럼 모델까지 배울 수도 있습니다. 무엇을 학습하느냐에 따라 알고리즘의 성격이 달라집니다.
셋째, 계산 비용을 어디에 쓸 것인가?
실행 시점마다 깊게 탐색할지, 미리 학습한 네트워크에 더 의존할지 결정해야 합니다. ExIt은 성능뿐 아니라 계산 비용의 배분 문제이기도 합니다.
결론: 알고리즘 이름보다 루프를 보자
ExIt의 가치는 복잡한 강화학습 알고리즘을 하나의 반복 구조로 정리해 준다는 데 있습니다. 강한 계산으로 만든 판단을 빠른 모델에 옮기고, 그 모델로 다시 더 강한 판단을 만드는 루프입니다.
AlphaZero, MuZero, EfficientZero를 비교할 때도 핵심 질문은 같습니다.
여기서 전문가는 무엇이고, 학습자는 무엇을 배웠는가?
이 질문을 붙잡으면 알고리즘의 차이뿐 아니라, 왜 그런 설계가 필요한지도 더 명확하게 보입니다.
1Thinking Fast and Slow with Deep Learning and Tree Search
2Mastering Chess and Shogi by Self-Play with a General Reinforcement Learning Algorithm
3Mastering Atari, Go, Chess and Shogi by Planning with a Learned Model
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.