이미지 생성 모델을 평가할 때 가장 먼저 떠올리는 질문은 보통 “얼마나 그럴듯한가?”입니다. 하지만 좋은 이미지 몇 장을 만드는 능력과 실제 데이터 분포를 넓게 덮는 능력은 다릅니다. 논문 One Pass Is Not Enough: Recursive Latent Refinement for Generative Models는 이 차이를 출발점으로 삼아, Recursive Latent Refinement라는 접근을 제안합니다.1
핵심 아이디어는 단순합니다. 이미지를 생성하기 전에 잠재 표현을 한 번에 매핑하지 않고, 반복적으로 다듬는 것입니다. 논문이 소개하는 RTM은 스타일 기반 생성기의 단일 패스 잠재 매핑을 이러한 반복 정제 과정으로 대체합니다.1
한 번의 매핑 대신 반복 정제
스타일 기반 생성기에서는 보통 입력 노이즈를 잠재 코드 또는 스타일 표현으로 변환한 뒤 이미지를 만듭니다. 이때 매핑이 한 번에 끝나면, 모델은 제한된 과정 안에서 최종 표현을 결정해야 합니다.
RTM은 이 지점을 바꿉니다. 잠재 표현을 한 번에 확정하지 않고, 여러 단계에 걸쳐 보정합니다. 즉, 생성 과정의 초점을 “이미지를 바로 잘 만드는 것”에서 “이미지를 만들기 전 표현을 더 잘 준비하는 것”으로 옮깁니다.
이 접근이 중요한 이유는 이미지 생성이 아직 완전히 해결된 문제가 아니기 때문입니다. 논문은 특히 평가 지표가 모델의 실제 한계를 가릴 수 있다는 점을 지적합니다.1
FID가 가리는 것
이미지 생성 모델을 비교할 때 자주 쓰이는 지표가 FID입니다. 그러나 논문은 FID가 샘플 품질과 모드 커버리지를 하나의 숫자에 섞어 측정한다고 설명합니다.1 그래서 FID가 낮다고 해서 반드시 모델이 데이터 분포를 충실히 반영한다고 보기는 어렵습니다.
문제는 모드 붕괴입니다. 모델이 선명하고 그럴듯한 이미지를 만들더라도, 비슷한 유형만 반복해서 생성한다면 다양성은 부족합니다. 논문은 낮은 FID를 달성한 모델도 모드 붕괴를 보일 수 있다고 설명합니다.1 심지어 소수의 선명한 유사 이미지가 전체 데이터 분포를 넓게 덮는 모델보다 FID에서 더 좋은 점수를 받을 수도 있습니다.1
따라서 “FID가 좋다”는 말은 조심해서 읽어야 합니다. 그것은 품질과 다양성을 구분해 보여주는 지표가 아니라, 두 요소가 섞인 결과에 가깝습니다.
precision과 recall을 함께 봐야 하는 이유
논문은 FID를 보완하기 위해 precision과 recall을 함께 봐야 한다고 주장합니다.1
Precision은 생성된 이미지가 얼마나 그럴듯한지를 봅니다.
Recall은 실제 데이터 분포의 다양한 유형을 얼마나 넓게 덮는지를 봅니다.
이 구분은 실무적으로도 중요합니다. 예쁜 샘플을 몇 장 보여주는 모델과, 다양한 조건과 유형을 안정적으로 생성하는 모델은 다릅니다. 제품 이미지, 캐릭터, 얼굴, 의료 이미지처럼 다양성이 중요한 영역에서는 특히 FID 하나만으로 모델을 고르면 위험합니다.
RTM에서 배울 점
RTM의 의미는 단순히 새로운 생성 구조를 제안했다는 데서 끝나지 않습니다. 더 중요한 메시지는 생성 모델을 볼 때 “한 번에 잘 만드는가”만이 아니라 “표현을 어떻게 정제하고, 그 결과가 품질과 다양성에 어떤 영향을 주는가”를 봐야 한다는 점입니다.
모델을 평가할 때는 다음 질문이 필요합니다.
이 모델은 선명한 샘플만 잘 만드는가, 아니면 데이터 분포를 넓게 덮는가?
Recursive Latent Refinement는 이 질문을 잠재공간의 설계 문제로 끌어옵니다. 그리고 평가 측면에서는 FID 하나에 의존하지 말고 precision과 recall을 함께 확인해야 한다는 실용적인 기준을 남깁니다.
1One Pass Is Not Enough: Recursive Latent Refinement for Generative Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.