생성 모델의 관심사는 이제 “얼마나 잘 만드나”를 넘어 “얼마나 빨리, 쓸 만하게 만드나”로 이동하고 있습니다. 특히 로봇 제어와 경로 계획처럼 매 순간 새 궤적을 생성해야 하는 영역에서는 추론 속도가 성능만큼 중요합니다. 확산 모델과 플로 기반 방법은 이미지 생성에서 높은 품질을 보였지만, 샘플링에 많은 반복 업데이트가 필요해 비용이 큽니다.1
이때 주목할 만한 접근이 IMLE, 즉 Implicit Maximum Likelihood Estimation입니다. IMLE는 명시적인 우도 계산이 어려운 생성 모델에서도 데이터의 다양한 모드를 놓치지 않도록 학습시키는 방법입니다. 최근 논의되는 reward-weighted IMLE는 여기서 한 걸음 더 나아가, 다양한 품질의 궤적 데이터 중 보상이 높은 궤적을 더 강하게 반영하도록 설계됩니다.
MLE에서 IMLE로: 우도를 직접 쓰기 어려울 때
MLE, 즉 최대우도추정은 관측 데이터가 가장 그럴듯해지도록 가정한 확률분포의 파라미터를 추정하는 방법입니다.2 더 정확히는 우도 함수를 최대화하는 파라미터 공간의 점을 최대우도 추정값으로 봅니다.2 독립 확률변수의 경우 우도 함수는 각 단변량 밀도 함수의 곱으로 표현되며, 실무에서는 계산 편의를 위해 우도 대신 로그우도를 최대화하는 경우가 많습니다.2 로그 함수는 단조 함수이므로 우도와 로그우도는 같은 파라미터 값에서 최대가 됩니다.2
다만 모든 모델에서 우도를 명시적으로 계산하기 쉬운 것은 아닙니다. 일부 MLE 문제는 닫힌형 해가 없어 수치 최적화가 필요하고, 유한 표본에서는 우도 방정식에 여러 해가 존재할 수도 있습니다.2 또한 MLE가 일관성을 가지려면 서로 다른 파라미터 값이 서로 다른 분포에 대응되는 식별 조건도 필요합니다.2
IMLE는 이런 배경에서 이해할 수 있습니다. 모델의 확률밀도를 직접 쓰기 어려운 상황에서도, 생성된 샘플과 실제 데이터 사이의 대응을 통해 학습을 진행합니다. 모델이 여러 후보를 만들고, 각 데이터 포인트에 가장 가까운 생성 샘플이 맞춰지도록 압박하는 방식입니다. 원 논문은 IMLE가 우도 형태를 알지 못해도 특정 조건에서 우도 최대화와 연결될 수 있다고 설명합니다.3
핵심은 데이터를 평균적인 하나의 답으로 뭉개지 않는다는 점입니다. 궤적 데이터에는 여러 가능한 미래가 공존합니다. IMLE는 각 모드가 적어도 하나의 생성 샘플과 가까워지도록 유도하므로, 다중모드 행동을 다루는 문제와 잘 맞습니다.
왜 원스텝 궤적 생성에 유리한가
궤적 생성에서 중요한 것은 좋은 후보를 빠르게 만드는 능력입니다. 로봇 제어와 MPC(Model Predictive Control)는 현재 상태를 기준으로 계속 다시 계획해야 하므로, 샘플을 얻기 위해 여러 번 반복 업데이트해야 하는 구조는 부담이 될 수 있습니다.
IMLE 기반 정책 연구는 적은 시연 데이터에서도 복잡한 다중모드 행동을 학습하고, 행동 생성에 단일 추론 단계만 필요하다고 보고합니다.4 실시간 생성 MPC 연구 역시 IMLE가 확산 기반 플래너보다 훨씬 빠른 추론을 제공한다고 설명합니다.5
따라서 IMLE의 실용적 가치는 두 가지로 정리할 수 있습니다. 첫째, 여러 가능한 궤적을 표현할 수 있습니다. 둘째, 학습된 모델에서 한 번의 forward pass로 후보를 생성할 수 있어 실시간 의사결정에 적합합니다. 후보를 여러 개 뽑아 평가한 뒤 가장 좋은 궤적을 선택하는 제어 문제에서는 이 조합이 특히 자연스럽습니다.
Reward-weighted IMLE: 모든 궤적을 똑같이 보지 않기
기본 IMLE는 학습 데이터셋의 모든 궤적을 동일하게 처리합니다. 이는 데이터가 모두 좋은 품질이라면 큰 문제가 아닐 수 있습니다. 하지만 실제 궤적 데이터에는 성공적인 행동, 비효율적인 행동, 부분적으로 실패한 행동이 함께 섞일 수 있습니다.
이때 단순히 모든 궤적을 같은 비중으로 따라 하면 모델은 좋은 행동뿐 아니라 낮은 품질의 행동도 함께 배울 수 있습니다. Reward-weighted IMLE는 이 한계를 줄이기 위해 보상이 높은 궤적에 더 큰 가중치를 둡니다.5 즉 모델이 데이터의 다양성은 유지하되, 더 가치 있는 행동 쪽으로 분포를 기울이도록 학습합니다.
중요한 점은 이것이 “하나의 최적 궤적만 외우는” 방식이 아니라는 것입니다. IMLE의 장점인 다중모드 표현은 유지하면서, 그중 보상이 높은 선택지를 더 강하게 반영합니다. mixed-quality trajectory 데이터로 원스텝 생성 모델을 학습할 때 reward-weighted IMLE가 의미 있는 이유가 여기에 있습니다.
실무적으로 어떻게 판단할 것인가
IMLE를 검토할 만한 상황은 비교적 분명합니다.
생성해야 할 결과가 하나로 정해지지 않고 여러 모드를 가진다.
궤적 후보를 빠르게 많이 뽑아야 한다.
확산 모델처럼 반복 샘플링이 필요한 방식의 추론 비용이 부담된다.
학습 데이터 안에 품질 차이가 큰 궤적이 섞여 있다.
단순 모방보다 높은 보상의 행동을 더 중시해야 한다.
반대로 데이터 품질이 균일하고 추론 속도가 중요하지 않다면, reward-weighted IMLE의 장점은 덜 두드러질 수 있습니다. 핵심 판단 기준은 “다양한 가능성을 유지하면서도 좋은 궤적을 더 자주 만들 필요가 있는가”입니다.
결론적으로 IMLE는 빠른 생성 모델을 실용적으로 학습하기 위한 방법입니다. 특히 reward-weighted IMLE는 다양한 품질의 궤적 데이터에서 원스텝 생성 모델을 학습할 때, 단순 복제보다 더 목적 지향적인 선택지를 제공합니다. mixed-quality trajectory 데이터를 다룬다면, 모든 궤적을 같은 무게로 취급하기보다 보상 가중 학습을 먼저 검토할 만합니다.
1One-Step Generative Modeling via Wasserstein Gradient Flows
2Maximum likelihood estimation - Wikipedia
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.