LLM 사전학습의 기본은 Next-Token Prediction입니다. 앞선 문맥을 보고 다음 토큰을 맞히는 단순한 목표가 대규모 언어모델의 성능을 끌어올렸습니다. 하지만 이 방식은 주로 “정답 토큰을 맞혔는가”에 초점을 둡니다. 모델 내부 표현이 얼마나 구조적이고 의미적으로 유용한지는 간접적으로만 학습됩니다.
NITP, 즉 Implicit Token Prediction은 이 지점을 보완하려는 접근입니다. 다음 토큰 자체만 예측하는 것이 아니라, 그 토큰과 연결된 내부 표현까지 학습 신호로 활용합니다.1 핵심 질문은 명확합니다. “다음 단어를 맞히는 모델”을 넘어, “다음 상태를 더 잘 표현하는 모델”을 만들 수 있는가입니다.
NITP의 핵심: 토큰 예측에 표현 예측을 더한다
기존 NTP는 이산적인 출력 라벨을 중심으로 학습합니다. 예를 들어 문맥이 주어졌을 때 다음에 올 토큰의 확률을 높이는 방식입니다. 반면 NITP는 여기에 연속적인 표현 공간의 목표를 추가합니다.
쉽게 말하면, 모델은 두 가지를 동시에 배우는 셈입니다.
다음 토큰이 무엇인지
그 토큰이 내부적으로 어떤 의미 상태를 가져야 하는지
NITP는 같은 모델의 얕은 층 표현을 자기지도 타깃으로 사용한다고 설명됩니다.1 별도의 교사 모델을 두기보다, 모델 내부에서 얻은 표현을 학습 신호로 삼는 방식입니다. 따라서 NITP의 관심사는 단순히 출력 정답률을 높이는 데서 끝나지 않습니다. 사전학습 과정에서 더 좋은 내부 표현을 형성하도록 압력을 주는 데 있습니다.
“다음 토큰”에서 “다음 X”로 확장되는 흐름
NITP를 이해하려면 최근의 예측 패러다임 변화를 함께 볼 필요가 있습니다. 연구 흐름은 더 이상 “다음 토큰”에만 머물지 않습니다. 다음에 예측할 대상인 X는 토큰뿐 아니라 프레임, 스케일, 잠재 표현이 될 수 있습니다. 또한 next-X prediction은 이산 공간과 연속 공간 모두에서 정의될 수 있습니다.2
이 관점에서 보면 여러 접근이 한 흐름 안에 놓입니다.
Chameleon은 텍스트를 넘어 next-token prediction을 확장한 이산 자기회귀 모델의 예로 언급됩니다.2
VAR, MAR, TransFusion, BAGEL, Fluid는 잠재공간에서 next-frame 또는 next-scale 동역학을 다루는 연속 formulation 사례로 제시됩니다.2
V-JEPA 2 같은 predictive encoder는 토큰을 출력하지 않고 미래 표현을 예측합니다.2
즉, 중요한 변화는 “무엇을 다음 대상으로 볼 것인가”입니다. NITP는 이 변화의 언어모델 버전으로 이해할 수 있습니다. 출력 토큰만 맞히는 데서 나아가, 그 뒤에 있는 표현 공간까지 예측 대상으로 끌어들입니다.
왜 실용적으로 중요한가
사전학습 개선은 보통 더 큰 데이터, 더 큰 모델, 더 많은 연산으로 설명됩니다. NITP가 흥미로운 이유는 목표 함수의 설계를 통해 개선을 시도한다는 점입니다.
보고된 결과에 따르면 NITP는 0.5B부터 9B 규모의 dense 및 MoE 모델에서 성능 향상이 관찰됐고, 9B MoE 기준 MMLU-Pro는 5.7%p, C3는 6.4%p, CommonsenseQA는 4.3%p 개선됐습니다. 추가 학습 FLOPs는 약 2%로 제시됐으며, 추가 추론 비용은 없다고 설명됩니다.1
따라서 평가할 때의 핵심은 단순한 성능 향상 폭만이 아닙니다. 다음 기준이 더 중요합니다.
추가 학습 비용이 얼마나 작은가
추론 비용을 늘리지 않는가
다양한 모델 규모와 구조에서 효과가 유지되는가
내부 표현 개선이 실제 태스크 성능으로 이어지는가
이 기준에서 NITP는 “비용 대비 사전학습 목표 개선”이라는 관점으로 볼 만한 접근입니다.
Next-Latent Prediction과의 연결점
비슷한 문제의식은 Next-Latent Prediction에서도 보입니다. Next-Latent Prediction Transformers는 표준 next-token 학습에 잠재공간 예측을 더해, 트랜스포머가 더 압축된 내부 상태와 전이 규칙을 학습하도록 유도한다고 설명됩니다.3
NITP와 Next-Latent Prediction은 동일한 방법이라고 단정할 수는 없지만, 바라보는 방향은 가깝습니다. 둘 다 출력 토큰만으로는 부족할 수 있다는 문제의식에서 출발합니다. 모델이 더 나은 내부 상태를 만들고, 그 상태의 변화를 예측하도록 학습시키려는 흐름입니다.
우리가 배울 점
NITP의 의미는 “다음 토큰 예측이 끝났다”가 아닙니다. 오히려 next-token prediction의 강력함을 유지하면서, 그 안에 표현 학습 신호를 더 정교하게 넣을 수 있다는 점에 있습니다.
앞으로의 LLM 사전학습 개선은 단순히 모델을 키우는 경쟁만으로 설명되기 어렵습니다. 어떤 데이터를 쓰는가만큼이나, 모델에게 무엇을 예측하게 할 것인가가 중요해지고 있습니다. NITP는 그 질문에 대한 실용적인 답 중 하나입니다. 토큰 정답을 넘어 내부 표현까지 학습 목표로 삼을 때, 같은 추론 비용 안에서 더 나은 모델을 만들 수 있는 가능성을 보여줍니다.
1NITP: Next Implicit Token Prediction for LLM Pre-training
2ICLR 2026 Workshop on Multimodal Intelligence: Next Token Prediction and Beyond
3Next-Latent Prediction Transformers Learn Compact World Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.