대부분의 LLM은 왼쪽에서 오른쪽으로 다음 토큰을 예측한다. iLLaDA는 이 익숙한 흐름에서 벗어난다. 문장 일부를 마스크로 가린 뒤, 여러 패스에 걸쳐 병렬로 복원하는 8B급 마스크드 확산 언어 모델이다.
중요한 질문은 단순히 “새 모델이 나왔다”가 아니다. 자동회귀가 아닌 방식으로도 대규모 언어 모델을 경쟁력 있게 만들 수 있는가다.
iLLaDA는 무엇이 다른가
iLLaDA는 처음부터 완전 양방향 어텐션으로 학습됐다. 앞 문맥만 보는 자동회귀 모델과 달리, 보이는 토큰 전체를 참고해 가려진 토큰을 복원한다. 언어 생성을 “다음 단어 맞히기”가 아니라 “빈칸을 반복적으로 고쳐 쓰는 과정”으로 다루는 셈이다.
이 방향성은 학습 전 과정에서도 유지된다. iLLaDA는 사전학습뿐 아니라 지도 미세조정(SFT)에서도 같은 마스크드 확산 목적함수를 사용했다.1 즉, 사전학습은 확산 방식으로 하고 후반부에서 자동회귀식으로 바꾸는 절충이 아니라, 모델 설계의 중심을 끝까지 확산 방식에 둔 사례다.
왜 눈여겨볼 만한가
iLLaDA의 의미는 규모에서도 나온다. 모델은 12조 토큰으로 사전학습됐고, 이후 250억 토큰 규모의 instruction corpus로 12 epoch SFT를 거쳤다.1 이는 마스크드 확산 언어 모델이 대규모 LLM 학습 파이프라인에서도 어느 정도까지 경쟁할 수 있는지 보여주는 실험에 가깝다.
성능 개선도 뚜렷하다. iLLaDA-Base는 기존 LLaDA 대비 BBH에서 21.6점, ARC-Challenge에서 14.9점 향상됐다. iLLaDA-Instruct는 MATH에서 14.5점, HumanEval에서 16.5점 개선됐다.1
다만 이 결과를 “확산 LLM이 자동회귀 모델을 넘어섰다”로 읽으면 과하다. 논문 기준으로 iLLaDA-Base의 평균 벤치마크 점수는 63.9점으로 Qwen2.5 7B의 63.3점과 경쟁적이다. 반면 iLLaDA-Instruct는 67.1점으로, Qwen2.5 7B Instruct의 77.1점에는 아직 미치지 못한다.2
생성과 평가도 다르게 설계해야 한다
확산 언어 모델은 학습 방식만 다른 것이 아니다. 추론과 평가 방식도 그에 맞게 조정해야 한다.
iLLaDA는 생성 효율을 위해 variable-length generation을 사용한다.1 고정된 길이를 한 번에 채우기보다, 필요한 만큼 생성 블록을 조절하는 방식이다. 또한 객관식 평가에서는 confidence-based scoring을 도입해 후보 답안을 비교한다.1 자동회귀 모델의 점수 계산 방식을 그대로 가져오기보다, 마스크드 확산 모델에 맞는 판단 방식을 별도로 마련한 것이다.
이 지점이 실용적으로 중요하다. 새로운 모델 구조의 가치는 모델 자체의 성능만으로 결정되지 않는다. 학습 목적함수, 생성 절차, 평가 방식이 함께 맞물려야 실제 성능을 낼 수 있다.
지금 얻을 수 있는 결론
iLLaDA는 “자동회귀를 대체할 최종 해답”이라기보다, LLM 설계 공간이 넓어지고 있다는 신호에 가깝다. 자동회귀 모델은 여전히 강력하고, 특히 instruction-tuned 모델에서는 격차가 남아 있다. 그러나 iLLaDA는 충분한 데이터, 일관된 확산 목적함수, 전용 추론·평가 전략을 결합하면 양방향 마스크드 확산 방식도 8B급에서 경쟁 가능한 경로가 될 수 있음을 보여준다.
따라서 iLLaDA를 볼 때의 핵심은 순위표의 승패가 아니다. 앞으로의 LLM이 반드시 “왼쪽에서 오른쪽으로 한 토큰씩” 생성해야 하는 것은 아니라는 점, 그리고 모델 구조가 바뀌면 학습·추론·평가 방식까지 함께 다시 설계해야 한다는 점이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.