AI 생성 이미지
언어 모델에서 확산 모델은 자기회귀 모델의 대안으로 자주 거론됩니다. 자기회귀 모델이 토큰을 왼쪽부터 하나씩 생성한다면, 확산 언어 모델은 노이즈가 섞인 표현에서 점차 문장을 복원하는 방식에 가깝습니다.
그중에서도 RePlaid가 흥미로운 이유는 명확합니다. 텍스트 생성에서는 그동안 이산 확산 방식이 더 자연스럽고 유리하다는 인식이 강했습니다. RePlaid 논문은 이 전제를 다시 묻습니다. 연속 확산이 정말 언어에 부적합한가, 아니면 기존 비교 조건이 불리했는가?
RePlaid는 무엇을 바꿨나
RePlaid는 likelihood 기반의 연속 확산 언어 모델인 Plaid를 재검토해 만든 모델입니다.1 여기서 연속 확산은 토큰 자체가 아니라 임베딩처럼 연속적인 공간에서 노이즈 제거 과정을 학습하는 접근입니다.
핵심은 새로운 이름보다 비교 방식에 있습니다. 연구진은 Plaid의 아키텍처를 최신 이산 확산 언어 모델과 맞추는 방식으로 RePlaid를 구성했습니다.1 즉, “연속 확산이 약한가”와 “이전 구현이 낡았는가”를 구분하려 한 셈입니다.
이 관점이 중요합니다. 모델 계열을 비교할 때는 알고리즘 자체의 한계와 구현·아키텍처 차이가 쉽게 뒤섞입니다. RePlaid는 그 차이를 줄인 상태에서 연속 확산의 가능성을 다시 평가하려는 시도입니다.
성능 수치보다 중요한 것은 스케일링이다
RePlaid 논문의 중심 주장은 단순한 벤치마크 승리가 아닙니다. 논문은 연속 확산 언어 모델에 대해 이산 확산 언어 모델과 경쟁 가능한 첫 스케일링 법칙을 제시한다고 설명합니다.1
스케일링 법칙은 모델 크기와 학습 계산량을 늘릴 때 성능이 어떻게 변하는지를 보는 기준입니다. 특정 크기에서의 점수보다 중요한 이유는, 앞으로 더 큰 모델과 더 많은 컴퓨트가 투입될 때 어떤 계열이 유망한지 판단하는 단서가 되기 때문입니다.
보고된 결과는 이 문제의식을 뒷받침합니다. RePlaid는 자기회귀 모델 대비 20배의 컴퓨트 격차를 보였다고 보고됐고, 더 적은 파라미터를 사용하면서 Duo보다 나은 성능을 냈으며, 과학습(over-trained) 영역에서는 MDLM보다 나은 성능을 보였다고 합니다.1
OpenWebText 벤치마크에서는 연속 확산 언어 모델 중 PPL bound 22.1을 달성했습니다.1 PPL은 낮을수록 모델이 텍스트를 더 그럴듯하게 예측한다는 뜻입니다. 다만 이 수치만으로 “연속 확산이 우세하다”고 결론내리기보다는, 연속 확산도 스케일링 관점에서 비교 대상이 될 수 있음을 보여주는 결과로 읽는 편이 적절합니다.
likelihood 기반 학습과 노이즈 스케줄의 의미
RePlaid의 메시지는 “연속 확산도 가능하다”에서 끝나지 않습니다. 논문은 likelihood 기반 학습을 적용한 연속 확산이 이산 확산 언어 모델의 확장 가능한 대안이 될 수 있음을 시사한다고 설명합니다.1
여기서 함께 봐야 할 요소가 노이즈 스케줄입니다. 연구진은 ELBO 분산을 최소화하도록 노이즈 스케줄을 최적화하면 시간에 따라 선형적인 교차 엔트로피 정보 손실이 나온다고 설명합니다.1
실용적으로 해석하면, 생성 과정의 특정 구간에 학습 부담이 몰리지 않도록 조정하는 데 의미가 있습니다. 각 단계가 더 균형 있게 정보를 잃고 복원하도록 만들면, 연속 확산 모델을 안정적으로 학습하고 확장하는 데 도움이 될 수 있습니다.
RePlaid를 어떻게 읽어야 하나
RePlaid는 자기회귀 모델을 당장 대체했다는 선언이 아닙니다. 더 정확한 결론은 “연속 확산은 텍스트에서 스케일하지 못한다”는 판단을 보류하게 만든다는 것입니다.
앞으로 확인해야 할 지점은 세 가지입니다.
더 큰 규모에서도 같은 스케일링 추세가 유지되는가
생성 속도와 품질의 균형이 실제 사용 환경에서도 유리한가
이산 확산 대비 구현 복잡도를 감당할 만한가
RePlaid의 가치는 최종 답을 제시했다는 데 있지 않습니다. 연속 확산 언어 모델을 다시 비교 테이블 위에 올려놓았다는 데 있습니다. 텍스트 생성 모델을 평가할 때 이제 질문은 “연속이냐 이산이냐”만이 아니라, 어떤 학습 목표와 아키텍처 조건에서 스케일할 수 있느냐로 옮겨가고 있습니다.
1[2605.18530] Continuous Diffusion Scales Competitively with Discrete Diffusion for Language
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.