AI 생성 이미지
LLM 학습은 보통 프리트레이닝, 미드트레이닝, 포스트트레이닝으로 나뉩니다. 각 단계는 목적이 다릅니다. 프리트레이닝은 대규모 토큰에서 언어와 지식을 익히고, 포스트트레이닝은 품질 판단, 선호, 안전성 같은 기준을 더 강하게 반영합니다.
하지만 이 구분에는 한 가지 비효율이 있습니다. 중요한 품질 신호가 학습 후반에야 본격적으로 들어간다는 점입니다. Introspective X Training, 줄여서 IXT는 이 순서를 다시 생각하게 만드는 방법입니다.
Prithviraj Ammanabrolu가 소개한 IXT의 논문 제목은 “Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages”입니다.1 핵심은 간단합니다. 후반 학습 단계에서 쓰던 피드백의 동역학을 프리트레이닝 같은 초기 단계에도 활용하자는 것입니다.
IXT는 무엇인가
IXT를 한 문장으로 줄이면, 모델이 데이터를 그냥 읽는 것이 아니라, 그 데이터에 대한 피드백과 함께 읽게 하는 학습 방식입니다.
기존 학습에서는 프리트레이닝 단계에서 대량의 텍스트를 거의 동일한 방식으로 처리하고, 품질 판단이나 선호 신호는 주로 후반 단계에서 다룹니다. IXT는 이 경계를 낮춥니다. 보상 모델이 데이터에 자연어 비평을 붙이고, 모델은 원문 앞에 그 피드백이 붙은 형태로 학습합니다.1
즉, 데이터를 단순히 “쓸 것인가, 버릴 것인가”로 나누는 것이 아닙니다. 대신 모델에게 “이 데이터는 어떤 성격과 품질을 가진 예시인가”를 알려주고, 그 조건 아래에서 학습하게 합니다.
무엇이 달라지나
IXT의 중요한 전환은 모든 토큰을 같은 학습 신호로 보지 않는다는 점입니다.
LLM 학습에서 토큰은 곧 비용입니다. 같은 양의 토큰과 FLOP을 쓰더라도, 모델이 그 토큰을 어떤 맥락에서 학습하느냐에 따라 효율은 달라질 수 있습니다. IXT는 품질 신호를 학습이 끝난 뒤 보정용으로만 쓰지 않고, 초기 학습부터 조건으로 포함합니다.
이 관점에서 IXT는 단순한 튜닝 기법이라기보다, LLM 학습 파이프라인 전체를 다시 설계하려는 접근에 가깝습니다. 논문은 IXT를 여러 학습 단계에서 스케일링 효율을 높이기 위한 방법으로 설명합니다.1 소개된 결과에서는 8B 활성 규모 모델에서 24T 토큰 기준 최대 2.8배 FLOP 효율 향상이 언급됐습니다.
필터링이 아니라 조건부 학습
IXT를 이해할 때 중요한 비교 대상은 데이터 필터링입니다.
데이터 필터링은 보통 품질이 낮다고 판단한 데이터를 제거하는 방식입니다. 반면 IXT는 데이터를 제거하는 데 초점을 두기보다, 데이터에 대한 판단을 함께 제공해 모델이 조건부로 배우게 합니다.
이 차이는 실무적으로 큽니다. 필터링은 데이터셋을 정리하는 문제에 가깝지만, IXT는 데이터 큐레이션의 결과를 학습 목표 안으로 끌어들입니다. 다시 말해 “좋은 데이터만 남기자”가 아니라, “데이터의 품질과 맥락을 모델이 알게 하자”에 가깝습니다.
실무적으로 볼 기준
IXT가 흥미로운 이유는 명확하지만, 실제 적용에서는 몇 가지를 따져봐야 합니다.
첫째, 피드백 생성 비용입니다. 자연어 비평을 붙이는 과정에도 비용이 듭니다. 이 비용이 실제 학습 효율 개선으로 상쇄되는지 확인해야 합니다.
둘째, 피드백의 안정성입니다. 보상 모델이 만든 비평이 도메인별로 일관되고 유용해야 합니다. 수학, 코드, 일반 지식, 대화 데이터에서 같은 방식으로 효과가 날지는 별도로 검증해야 합니다.
셋째, 스케일 확장성입니다. 작은 규모나 특정 조건에서의 효율 개선이 더 큰 모델과 더 긴 학습에서도 유지되는지가 중요합니다. IXT의 가치는 단발성 성능 향상보다, 학습 단계 전반에서 효율을 높일 수 있는지에 달려 있습니다.
결론
IXT가 던지는 메시지는 분명합니다. LLM 학습의 경쟁력은 더 이상 “얼마나 많은 토큰을 넣는가”에만 있지 않습니다. 이제는 모델이 토큰을 어떤 피드백과 함께 읽게 할 것인가가 중요해지고 있습니다.
Introspective X Training은 후반 학습의 품질 신호를 초기 학습으로 가져와, 학습 파이프라인 전체의 효율을 높이려는 시도입니다. 앞으로 LLM 개발에서 데이터 양만큼이나 중요한 것은, 데이터에 붙는 피드백의 품질과 그 피드백을 학습에 통합하는 방식일 수 있습니다.
1Introspective X Training: Feedback Conditioning Improves Scaling Across all LLM Training Stages
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.