Masked Generative Model(MGM)은 문장을 왼쪽에서 오른쪽으로 하나씩 생성하지 않는다. 일부 토큰을 가린 뒤 여러 위치를 병렬로 예측하고, 이를 반복하면서 문장을 점진적으로 채운다. 이 방식은 병렬 디코딩이라는 장점이 있지만, 각 denoising 단계마다 전체 양방향 Transformer를 다시 실행해야 한다는 부담도 있다.1
논문 Fixed-Point Masked Generative Modeling은 이 반복 계산의 병목을 줄이기 위해 FP-MGM을 제안한다. 핵심은 denoiser의 일부를 공유 attention layer 위의 fixed-point solver로 대체하는 것이다.1
FP-MGM은 무엇을 바꾸는가
기존 MGM에서는 denoising 단계마다 정해진 깊이의 Transformer 계산을 수행한다. 쉬운 단계든 어려운 단계든 같은 구조를 통과한다. FP-MGM은 이 관점을 바꾼다.
같은 attention layer를 공유하고, fixed-point solver가 표현을 안정된 지점으로 수렴시키도록 반복 계산한다.1 즉, 매번 새로운 블록을 깊게 쌓기보다 동일한 계산 자원을 재사용하면서 필요한 만큼 해를 찾아가는 방식이다.
이 설계의 장점은 두 가지다. 첫째, attention layer를 공유해 파라미터 수를 줄일 수 있다.1 둘째, denoising 단계마다 필요한 solver 깊이를 적응적으로 조절할 수 있다.1 모든 단계에 동일한 계산량을 쓰는 대신, 어려운 단계에는 더 계산하고 쉬운 단계에는 덜 계산할 여지가 생긴다.
CoFRe: fixed-point generation을 안정화하는 방법
FP-MGM을 masked generation에 적용하려면 한 가지 문제가 남는다. denoising 단계가 바뀔 때마다 토큰 상태도 바뀌고, hidden representation도 흔들릴 수 있다. 논문은 이를 다루기 위해 CoFRe를 제안한다. CoFRe는 fixed-point masked generation을 위한 학습-추론 통합 프레임워크다.1
CoFRe는 두 요소를 결합한다.
첫째는 cross-step consistency loss다. 이 손실은 인접한 denoising 단계의 hidden representation을 정렬한다.1 단계가 바뀔 때 내부 표현이 크게 달라지면, 제한된 sampling 예산에서 생성 품질이 불안정해질 수 있다. cross-step consistency는 단계 간 표현 변화를 완화해 solver가 더 안정적으로 작동하도록 돕는다.
둘째는 three-state reuse다. 이는 이전 fixed-point 해를 다음 denoising 단계 solver의 초기값으로 재사용하는 warm-start 방식이다.1 다만 masked generation에서는 모든 토큰이 같은 상태가 아니다. CoFRe는 unchanged token, still-masked token, newly revealed token을 구분해 처리한다.1 이미 유지되는 토큰, 아직 가려진 토큰, 새로 드러난 토큰은 다음 단계에서 필요한 초기화 방식이 다르기 때문이다.
실용적 의미: 전체 재학습 없이 구조를 바꿀 수 있다
FP-MGM이 특히 실용적인 이유는 기존 사전학습 MGM을 짧은 fine-tuning으로 FP-MGM으로 변환할 수 있도록 설계됐다는 점이다.1 처음부터 전체 모델을 다시 학습하는 방식이 아니라, 이미 학습된 masked generative model을 더 효율적인 fixed-point 구조로 바꾸는 방향이다.1
논문은 OpenWebText에서 CoFRe가 MDLM 대비 파라미터를 38.8%, 학습 시간을 11.5%, VRAM을 16.9% 줄였다고 보고한다. 또한 96 transformer-block forward pass 예산에서 generative perplexity를 830.8에서 101.8로 개선했다고 제시한다.1
결국 FP-MGM의 메시지는 명확하다. masked generation의 효율성은 단순히 denoising 단계 수를 줄이는 데서만 나오지 않는다. 각 단계 안에서 계산을 얼마나 공유하고, 이전 단계의 해를 얼마나 잘 재사용하며, 필요한 깊이를 얼마나 유연하게 조절하느냐가 중요하다.
낮은 지연 시간, 제한된 GPU 예산, 기존 MGM의 재활용 가능성이 중요한 환경이라면 fixed-point denoiser는 검토할 만한 설계 축이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.