LLM을 학습하는 팀에 갑자기 2~3배의 프리트레이닝 처리량이 생긴다면, 그 시간을 어디에 써야 할까. 더 많은 토큰을 볼 것인가, 실험을 더 돌릴 것인가, 비용을 줄일 것인가, 아니면 회복 학습에 더 긴 시간을 남길 것인가.
Nous Research의 Token Superposition Training, TST가 흥미로운 이유는 단순히 "빠르다"는 데 있지 않다. 이 방법은 270M·600M 모델에서 평가되고, 3B 및 10B-A1B MoE 모델에서도 검증됐으며, 10B-A1B 규모에서 동일 손실 기준 최대 2.5배의 총 프리트레이닝 시간 단축을 보고했다1. Marktechpost 보도에 따르면 해당 10B-A1B 실험에서 TST는 4,768 B200 GPU-hour를 사용했고, 비교 기준선은 12,311 B200 GPU-hour를 사용했다2.
핵심은 토큰을 "정확히" 보기 전에 "많이" 보는 것이다
TST는 두 단계로 동작한다. 첫 단계에서는 연속된 토큰 여러 개를 하나의 bag으로 묶고, 그 토큰들의 임베딩을 평균해 하나의 잠재 토큰처럼 처리한다. 출력 쪽에서는 다음 단일 토큰이 아니라 다음 bag 안의 토큰들을 맞히도록 multi-hot cross-entropy 목적함수를 쓴다1.
이렇게 하면 모델 내부에서 처리하는 시퀀스 길이는 줄어든다. 대신 같은 FLOPs 안에서 더 긴 원문 시퀀스를 넣을 수 있다. 즉, 계산량을 줄인다기보다 FLOP당 데이터 노출량을 늘리는 방식에 가깝다.
물론 이 과정은 정보를 잃는다. bag 안 토큰의 순서는 흐려지고, 일반적인 next-token prediction보다 거친 과제를 푼다. 그래서 TST는 처음부터 끝까지 이 방식으로 학습하지 않는다. 일정 비율의 superposition phase가 끝나면 표준 next-token prediction으로 돌아가는 recovery phase를 둔다.
여기서 실무적으로 중요한 점은 "초기 프리트레이닝은 우리가 생각하는 것만큼 매 순간 정밀할 필요가 없을 수 있다"는 가설이다. 초반에는 국소적 동시출현, 주제, 표현 공간의 대략적 구조를 빠르게 흡수하고, 후반에는 정확한 순서와 생성 능력을 회복하는 식이다.
TST는 커널 최적화가 아니라 학습 루프의 예산 재배치다
효율화 방법은 많다. 데이터 필터링은 더 좋은 샘플을 고른다. FlashAttention 같은 커널 최적화는 같은 연산을 더 빠르게 만든다. MoE는 활성 파라미터를 줄인다. tokenizer 변경은 시퀀스 길이를 압축한다.
TST의 차별점은 비교적 덜 침습적이라는 점이다. 논문은 TST가 병렬화 전략, optimizer, tokenizer, 데이터, 모델 아키텍처를 바꾸지 않는 drop-in 방식이라고 설명한다1. 최종 모델도 추론 시점에는 일반적인 autoregressive LLM과 동일하게 동작한다.
하지만 "공짜 점심"은 아니다. TST는 같은 compute로 더 많은 데이터를 소비한다. 따라서 데이터가 충분하고 GPU 시간이 병목인 팀에는 매력적이지만, 고품질 데이터가 이미 부족한 팀에는 이점이 작아질 수 있다. 실제로 보고된 비교에서도 equal-FLOPs나 equal-loss 조건에서는 TST가 유리했지만, 동일한 총 토큰 소비량 기준에서는 표준 학습이 유리한 경계가 제시됐다2.
이 말은 TST를 "항상 더 좋은 학습법"으로 보면 안 된다는 뜻이다. 더 정확히는 compute-bound 프리트레이닝에서 데이터 노출량을 앞당겨 사는 방법이다.
도입 전 확인해야 할 세 가지 질문
첫째, 회복 구간을 감당할 수 있는가. TST는 phase 전환 직후 손실이 튀는 현상이 보고됐고, 이후 수천 step 안에 회복되는 패턴이 관찰됐다2. 짧은 파일럿에서는 이 구간만 보고 실패로 오판할 수 있다.
둘째, 평가셋이 충분한가. 논문과 보도에서는 HellaSwag, ARC, MMLU 등에서 개선이 보고됐지만2, 모든 도메인에 자동으로 일반화된다고 단정할 수는 없다. 코드, 수학, 장문 문맥, 특정 언어권 데이터처럼 순서 정보가 더 민감한 영역에서는 별도 검증이 필요하다.
셋째, 목표가 무엇인가. 비용 절감이 목표라면 equal-loss 기준으로 얼마나 빨리 도달하는지가 중요하다. 최고 성능이 목표라면 절약한 시간을 더 긴 recovery phase나 더 큰 모델 실험에 재투자할 수 있다. 제품 일정이 급하다면 더 이른 checkpoint 확보 자체가 가치가 된다.
결국 TST는 "2.5배 빠른 마법"이 아니라 프리트레이닝 계획표를 다시 짜게 만드는 기술이다. 대규모 학습을 직접 운영하거나 예산을 승인하는 팀이라면, 앞으로는 단순히 총 FLOPs를 묻는 대신 이렇게 물어야 한다. 우리는 지금 compute가 부족한가, 데이터가 부족한가, 아니면 회복 학습과 평가에 쓸 인내심이 부족한가.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.