모델을 만드는 과정은 사전 훈련과 사후 훈련으로 나뉩니다. 방대한 데이터로 지식을 주입하는 사전 훈련이 끝난 직후의 모델은 여전히 불완전합니다. 안전 장치가 부족하고 사람의 지시를 효과적으로 따르지 못하기 때문입니다1. 여기에 개입하는 것이 사후 훈련이지만, 2024년 11월 기준 LMSYS ChatBotArena 상위 50개 모델 중 사후 훈련 데이터를 투명하게 공개한 모델은 하나도 없었습니다1. 성능의 정점에는 폐쇄형 모델이 자리 잡고 있었고, 오픈소스 생태계는 핵심 제조법을 추측하는 데 그쳐야 했습니다.
이 간극을 해소하기 위해 AllenAI가 내놓은 해답이 Tulu 3 Post-Training입니다. 코드와 데이터, 훈련 레시피 전부를 공개해, 사후 훈련의 완전한 설계도를 최초로 제시한 오픈 스택입니다.
추측이 아닌 과학으로: 사후 훈련의 4단계
Tulu 3 Post-Training의 파이프라인은 Llama 3 베이스 모델 위에서 명확하게 구분된 네 단계로 작동합니다2. 단순한 기술 조합이 아니라, 지식, 추론, 수학, 코딩, 명령어 수행, 안전성 같은 범용 언어 모델의 핵심 영역에서 기존 오픈 사후 훈련 대비 격차를 의도적으로 좁혀가도록 설계된 흐름입니다.
첫째, 프롬프트 큐레이션과 합성으로 고품질 지시 데이터를 정제합니다.
둘째, 핵심 기술을 겨냥한 지도 미세 조정(SFT) 으로 기반을 다집니다.
셋째, 온·오프 정책 선호도 데이터를 결합한 선호도 튜닝(DPO) 으로 모델 판단을 정교화합니다.
넷째, RLVR(Reinforcement Learning with Verifiable Rewards)이라는 독창적인 접근으로 특정 기술을 강화합니다3.
RLVR은 기존 강화학습 파이프라인의 복잡성을 지운 발상입니다. 보통은 별도 보상 모델을 훈련해야 했지만, RLVR은 수학 문제나 코딩처럼 정답을 검증할 수 있는 작업이라면 보상 모델 없이 바로 강화학습을 적용합니다. 절차가 단순하고 효율적이기 때문에, 성능 손실 없이 더 빠르게 반복 실험을 돌릴 수 있습니다.
이 모든 파이프라인은 분산 인프라가 필요하지 않도록 최적화되어, 16GB 하드웨어에서도 실행할 수 있습니다.
폐쇄형 모델을 넘어 조합 가능한 모델로
결과는 성능으로 입증되었습니다. Tulu 3는 Llama 3.1, Qwen 2.5, Mistral의 instruct 버전뿐 아니라 GPT-4o-mini, Claude 3.5-Haiku 같은 폐쇄형 모델조차 능가합니다3.
이러한 성능 향상의 배경에는 데이터 믹스 최적화가 자리 잡고 있습니다. 특정 기술에 집중할 때 다른 능력이 무너지는 간섭 문제를 해결해, 여러 핵심 영역을 동시에 끌어올렸습니다. 또한 기존 공개 데이터셋이 평가 벤치마크를 의도치 않게 포함하고 있는 문제를 정면으로 해결하기 위해, 철저한 오염 제거와 다중 작업 평가 체계를 도입했습니다3. 이를 통해 사용자는 신뢰할 수 있는 평가 환경에서 Tulu 3 Post-Training의 레시피를 검증하고 개선할 수 있습니다.
여기서 끝나지 않습니다. Tulu 3는 모델 하나만 공개한 것이 아니라, 목적에 맞게 재구성할 수 있는 데이터셋 묶음을 제공합니다. 코딩에 강하면서 다국어 대화가 가능한 모델이 필요하다면, 해당 영역의 데이터만 골라 레시피를 따라 하면 됩니다1.
열린 사후 훈련, 새로운 기준
Tulu 3 Post-Training이 보여준 본질은 하나입니다. 폐쇄형 모델의 핵심 경쟁력으로 간주되던 사후 훈련을 완전히 열고, 누구나 따라 할 수 있는 재현 가능한 설계도로 제시했다는 점입니다.
개인 연구자, 개발자, 스타트업 모두 오픈소스 모델을 특정 목적에 맞게 미세 조정하면서도 범용 능력을 유지할 방법을 얻게 되었습니다. Tulu 3는 하나의 완성된 모델이 아니라, 사후 훈련의 새로운 기준이자 모두가 활용할 수 있는 도구 상자로 기능합니다.
1Tülu 3 opens language model post-training up to more tasks and more people
3Tulu 3: Pushing Frontiers in Open Language Model Post-Training
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.