확산 언어모델을 볼 때 흔히 묻는 질문은 “masked diffusion이 더 나은가, uniform diffusion이 더 나은가”이다. BlockGen은 이 논점을 한 단계 넓힌다. 중요한 것은 노이즈 방식만이 아니라, 시퀀스를 어떤 크기의 단위로 나누고, 그 단위를 어떤 샘플러로 다루느냐라는 점이다.
BlockGen은 무엇인가
BlockGen은 문장을 토큰 하나씩만 생성하거나 전체 시퀀스를 한꺼번에 복원하는 대신, 여러 토큰을 묶은 “블록” 단위로 다루는 시퀀스 모델이다. 논문은 이 접근을 masked diffusion과 uniform diffusion 양쪽 방식으로 구현한다.1
핵심은 블록 크기를 하나로 고정하지 않는다는 데 있다. BlockGen은 여러 블록 크기의 혼합으로 학습된다.1 이 덕분에 한 토큰씩 예측하는 AR 모델과 전체를 점진적으로 복원하는 diffusion 모델 사이의 선택지를 더 세밀하게 만들 수 있다.
즉 BlockGen의 가치는 “또 다른 diffusion 모델”이라는 데 있지 않다. AR과 diffusion 사이에 있던 거친 중간지대를 블록 크기와 샘플링 방식으로 더 유연하게 탐색하게 해준다는 점에 있다.
무엇이 달라지는가
기존 비교는 종종 masked 방식과 uniform 방식 중 어느 쪽이 더 강한지에 집중했다. 하지만 BlockGen이 보여주는 관점은 다르다. 같은 diffusion 계열이라도 블록을 어떻게 구성하느냐, 그리고 생성 중 어떤 샘플러를 쓰느냐에 따라 성능 해석이 달라진다.
특히 BlockGen의 likelihood는 고정 블록 크기 모델보다 AR 모델과 순수 diffusion 모델 사이를 더 세밀하게 보간한다.1 이는 특정한 한 지점을 고르는 대신, 계산량·생성 방식·품질 사이의 절충점을 더 다양하게 설계할 수 있다는 뜻이다.
따라서 BlockGen을 읽을 때의 핵심 질문은 “AR을 이겼는가”가 아니다. 더 실용적인 질문은 “어떤 블록 크기와 샘플링 전략이 주어진 비용에서 가장 나은 절충점을 만드는가”이다.
수치는 어떻게 봐야 하는가
공개된 OpenWebText 결과에서 BlockGen은 균일 혼합 가중치 설정의 masked 기준으로 17.5 PPL을 기록했다.2 이는 최고 fixed-block 모델의 21.6 PPL보다 낮은 수치다.2 고정된 블록 크기보다 여러 블록 크기를 섞는 방식이 더 나은 절충점을 만들 수 있음을 보여주는 대목이다.
다만 AR 모델은 같은 OpenWebText 기준에서 16.7 PPL을 기록했다.2 따라서 BlockGen을 “AR을 대체한 모델”로 해석하기는 이르다. 더 정확한 결론은 BlockGen이 AR과 diffusion 사이의 설계 공간을 더 촘촘하게 열었다는 것이다.
BlockGen에서 얻을 practical lesson
BlockGen이 주는 가장 실용적인 메시지는 평가 기준을 넓혀야 한다는 점이다. 확산 언어모델을 비교할 때 masked냐 uniform이냐만 보면 부족하다. 다음 요소를 함께 봐야 한다.
블록 크기를 고정하는가, 여러 크기를 섞는가
생성 과정에서 어떤 샘플러를 쓰는가
likelihood와 생성 비용 사이의 절충점이 어디에 있는가
AR 모델과 비교했을 때 어느 영역에서 강점이 있는가
BlockGen의 결론은 명확하다. 확산 언어모델의 성능은 노이즈 방식 하나로 결정되지 않는다. 블록 단위 모델링과 하이브리드 샘플링까지 함께 봐야 한다. 이 논문은 그 판단 기준을 더 분명하게 만든다.
1BlockGen: Flexible Blockwise Sequence Modeling with Hybrid Samplers
2New Paper BlockGen Challenges Dominance of Uniform-State Diffusion Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.