플로우·디퓨전 계열 정책은 로봇 행동을 자연스럽게 생성하는 데 강점이 있지만, 강화학습으로 직접 최적화하기는 까다롭습니다. 행동이 한 번에 출력되지 않고 여러 단계의 디노이징 과정을 거쳐 만들어지기 때문입니다. 이 체인을 끝까지 역전파하면 수치적으로 불안정해질 수 있고, 반복 디노이닝 기반 정책은 전통적 정책경사법에 필요한 다루기 쉬운 행동 likelihood도 제공하지 않는다고 설명됩니다.1
Q-Guided Flow(QGF)는 이 문제를 “학습 때 정책을 크게 흔들지 않고, 추론 때 Q 함수로 행동 생성을 유도하자”는 방향으로 풉니다. 즉, 플로우 정책 자체를 다시 복잡하게 학습하기보다 테스트 시점에 Q값이 높은 행동 쪽으로 샘플링을 밀어주는 방법입니다.2
QGF의 핵심: 학습은 안정적으로, 개선은 테스트 시점에
QGF의 기본 아이디어는 간단합니다. 먼저 행동복제(BC) 등으로 기준 플로우 정책을 학습하고, 별도로 critic을 학습합니다. 이후 추론 단계에서 디노이징 과정에 Q 함수의 그래디언트를 반영해 더 높은 가치의 행동이 나오도록 유도합니다.2
이 접근의 장점은 역할을 분리한다는 데 있습니다.
기준 정책은 모방학습으로 안정적으로 만든다.
critic은 행동의 가치를 평가한다.
실제 개선은 테스트 시점 guidance로 적용한다.
이렇게 하면 actor-critic을 함께 업데이트하면서 생길 수 있는 불안정을 줄일 수 있습니다. 공개 구현도 학습된 정책과 critic 위에 QGF 형태의 테스트 시점 guidance를 얹는 흐름을 제시합니다.3
왜 야코비안 근사가 중요한가
플로우 정책에서 최종 행동은 여러 디노이징 단계를 거쳐 만들어집니다. 따라서 Q 함수의 그래디언트를 중간 디노이징 단계에 정확히 반영하려면, 각 단계가 최종 행동에 미치는 영향을 나타내는 야코비안을 고려해야 합니다.
문제는 이 계산이 비싸고 불안정할 수 있다는 점입니다. QGF는 플로우 디노이징 과정의 야코비안을 항등행렬로 근사해 이 부담을 줄입니다.2 덕분에 전체 디노이징 체인을 복잡하게 다시 학습하거나 매번 끝까지 정교하게 역전파하지 않고도, Q 함수가 제안하는 방향을 추론 과정에 반영할 수 있습니다.
이 지점이 QGF의 실용적 의미입니다. “정확하지만 무거운 최적화” 대신 “충분히 단순한 근사로 테스트 시점 개선을 적용”하는 쪽에 가깝습니다.
Q-VGM과 비교해 보면 더 선명해지는 위치
비슷한 문제의식을 가진 방법으로 Q-VGM이 있습니다. Q-VGM은 플로우 매칭 VLA 정책을 학습된 Q 함수에 맞춰 미세조정하는 오프폴리시 강화학습 방법입니다.1 플로우 정책이 다단계 디노이징으로 행동을 생성하기 때문에 직접 역전파가 불안정할 수 있고, 행동 likelihood도 다루기 어렵다는 문제에서 출발합니다.1
Q-VGM은 이런 제약을 피하기 위해 디노이징 체인을 통한 역전파 없이, 행동 likelihood 없이 작동하도록 설계됐습니다. 또한 고정된 리플레이 버퍼에서 동작하며, VGG-Flow를 활용해 가치 그래디언트를 디노이징 시간대의 가치-그래디언트 필드로 변환합니다.1
반면 QGF는 테스트 시점에 Q 함수의 그래디언트로 플로우 정책의 행동 생성을 유도하는 데 초점이 있습니다. 두 방법 모두 “플로우 정책을 RL로 다루기 어렵다”는 같은 문제를 겨냥하지만, Q-VGM은 미세조정 방식에 가깝고 QGF는 추론 단계의 guidance에 더 무게를 둡니다.
적용할 때 확인할 세 가지
QGF는 플로우 정책을 가볍게 개선할 수 있는 매력적인 방식이지만, 만능 버튼은 아닙니다. 실제 적용에서는 다음 세 가지를 특히 봐야 합니다.
첫째, 기준 정책의 품질입니다. 테스트 시점 guidance는 이미 학습된 플로우 정책의 샘플링을 조정하는 방식이므로, 출발점이 되는 정책이 너무 약하면 개선 여지도 제한됩니다.
둘째, critic의 신뢰도입니다. Q 함수가 잘못된 방향의 그래디언트를 주면 guidance는 오히려 나쁜 행동을 강화할 수 있습니다. QGF의 성능은 결국 critic이 얼마나 유용한 가치 신호를 주는지에 크게 좌우됩니다.
셋째, guidance 강도입니다. Q 그래디언트를 너무 약하게 넣으면 변화가 작고, 너무 강하게 넣으면 기준 정책의 분포에서 벗어난 행동을 만들 수 있습니다. 따라서 guidance weight는 실험적으로 민감하게 확인해야 할 요소입니다.
무엇을 배울 수 있나
QGF의 결론은 명확합니다. 큰 플로우 정책을 강화학습으로 처음부터 흔들기보다, 안정적인 모방학습 기반 정책을 만든 뒤 테스트 시점에 Q 함수로 행동 생성을 조정하는 방식이 실용적 대안이 될 수 있습니다.
특히 로봇·연속제어처럼 행동 공간이 크고 정책 업데이트가 불안정해지기 쉬운 영역에서는 “학습은 안정적으로, 개선은 가볍게”라는 설계가 중요합니다. QGF는 그 방향을 보여주는 방법입니다. 플로우 정책의 생성 능력은 유지하면서, critic이 제공하는 가치 정보를 추론 단계에서 활용하려는 접근으로 이해하면 됩니다.
1[2606.08015] Q-VGM: Q-Guided Value-Gradient Matching for Flow-Matching VLA Policies
2[2606.11087] Test-Time Gradient Guidance of Flow Policies in Reinforcement Learning
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.