강화학습에서 Q-learning은 “이 상태에서 이 행동을 하면 앞으로 얼마나 좋은가”를 학습한다. 더 정확히는 상태-행동 쌍에서 시작해, 최적 정책을 따를 때 기대할 수 있는 반환인 Q함수 (Q(x,a))를 추정한다.1
ICML 2026 Spotlight로 소개된 Accelerating Q-learning through Efficient Value-sharing across Actions가 주목하는 지점은 바로 이 Q값의 구조다.2 핵심 질문은 단순하다. 같은 상태 안의 여러 행동이 공유하는 정보까지 행동별로 따로 배워야 할까?
Q값은 상태의 가치와 행동의 차이로 나눠 볼 수 있다
Q함수는 상태 가치 (V(x))와 행동별 이점 (A(x,a))의 합으로 분해할 수 있다.
[ Q(x,a)=V(x)+A(x,a) ]
여기서 (V(x))는 특정 상태 자체가 얼마나 좋은지를 나타낸다. 정책이 그 상태에서 선택할 행동들의 Q값을 정책 확률로 가중합한 값으로 이해할 수 있다.1
반면 (A(x,a))는 특정 행동이 같은 상태의 다른 행동들에 비해 얼마나 나은지를 나타낸다. 정의상 (A^pi(x,a)=Q^pi(x,a)-V^pi(x))이며, 행동들 사이의 상대적 성능을 측정한다.1
이 분해가 중요한 이유는 Q값 안에 두 종류의 정보가 섞여 있기 때문이다.
상태에 공통으로 해당하는 가치
행동마다 달라지는 상대적 차이
기존 Q-learning이 이 둘을 충분히 구분하지 못하면, 여러 행동이 공유하는 상태 정보를 반복해서 학습하게 된다. 그만큼 업데이트는 느려지고, 행동 간 차이를 선명하게 학습하기도 어려워질 수 있다.
값 공유는 “더 많이 계산하기”보다 “덜 중복해서 배우기”에 가깝다
Accelerating Q-learning through Efficient Value-sharing across Actions는 같은 상태 안의 행동들 사이에서 값을 더 효율적으로 공유하는 방향을 제안한다.2
논문은 mean-expansion transformation을 통해, 큰 Q값을 직접 학습하기보다 더 작은 노름의 표현을 학습하도록 바꾼다. 의도는 명확하다. 상태 전체에 해당하는 공통 정보는 공유하고, 행동별로 중요한 차이는 더 분명히 남기는 것이다.2
이 접근이 실용적인 이유는 변화의 단위가 비교적 작다는 데 있다. 딥 강화학습에서는 Q-network 구조에 파라미터를 추가하지 않는 변경으로 적용할 수 있고, 기본 알고리즘 자체를 크게 바꾸지 않아도 된다.2
따라서 여기서 말하는 가속은 단순히 계산량을 늘려 얻는 개선이 아니다. 오히려 행동마다 따로 배울 필요가 없는 부분을 공유해 학습 대상을 더 효율적으로 만드는 것에 가깝다.
성능만큼 중요한 지표: action gap과 과대평가
논문은 57개 Atari 게임에서 DQN의 집계 성능을 개선했다고 보고한다. 또한 action gap을 키우고 value overestimation을 크게 줄였다고 설명한다.2
여기서 action gap은 좋은 행동과 나쁜 행동의 Q값 차이를 뜻한다. 이 차이가 커지면 정책은 어떤 행동을 선택해야 하는지 더 명확하게 구분할 수 있다. Q값들이 서로 비슷하게 뭉쳐 있으면 작은 추정 오차에도 행동 선택이 흔들릴 수 있지만, action gap이 커지면 선택이 더 안정적이 된다.
과대평가 감소도 중요하다. Q-learning은 부트스트래핑을 사용하기 때문에, 잘못 높게 추정된 값이 이후 업데이트에 영향을 줄 수 있다. 따라서 value overestimation을 줄이는 것은 단순한 점수 향상을 넘어 학습 안정성과도 연결된다.
다만 한 가지 구분은 필요하다. 이점 함수 (A(x,a))는 Q함수와 달리 자체적으로 부트스트래핑할 수 있는 벨만식 형태의 재귀 방정식을 따르지 않는다.1 그래서 “Q를 V와 A로 나누면 모든 문제가 자동으로 해결된다”기보다, 어떤 정보를 공유하고 어떤 정보를 행동별로 남길지 설계하는 방식이 중요하다.
실무적으로 얻을 수 있는 교훈
이 연구의 메시지는 실용적이다. 강화학습 성능 개선은 항상 더 큰 모델, 더 복잡한 목적함수, 더 많은 계산에서만 나오지 않는다.
Q-learning을 사용할 때는 다음 질문을 함께 던져볼 필요가 있다.
같은 상태의 여러 행동이 공유하는 정보는 무엇인가?
행동별로 따로 학습해야 하는 차이는 무엇인가?
action gap은 충분히 커지고 있는가?
Q값 과대평가는 줄어들고 있는가?
결국 핵심은 무엇을 함께 배우고, 무엇을 따로 배울지를 다시 설계하는 데 있다. Accelerating Q-learning through Efficient Value-sharing across Actions는 Q-learning을 빠르게 만드는 한 가지 방향을 보여준다. 행동마다 모든 값을 따로 밀어 올리기보다, 상태 안에서 공유 가능한 가치를 활용하면 학습은 더 효율적이고 안정적으로 나아갈 수 있다.
1VA-learning as a more efficient alternative to Q-learning
2Accelerating Q-learning through Efficient Value-sharing across Actions
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.