Chain-of-Thought(CoT)는 LLM이 복잡한 문제를 더 잘 풀게 만드는 대표적인 방법입니다. 다만 텍스트 CoT에는 분명한 비용이 있습니다. 모델은 다음 추론 단계로 넘어가기 전에 중간 계산을 모두 이산적인 토큰 스트림으로 언어화해야 합니다.1 생각을 길게 쓸수록 토큰 비용과 지연도 함께 커집니다.
NF-CoT는 이 병목을 줄이려는 잠재 추론(latent reasoning) 방법입니다. 핵심 아이디어는 간단합니다. 중간 추론은 압축된 연속 잠재 상태에서 수행하고, 최종 답변은 텍스트로 생성한다는 것입니다. 이를 위해 NF-CoT는 Normalizing Flow 기반 구조인 STARFlow를 LLM 내부에 배치합니다. Normalizing Flow는 연속 벡터를 샘플링하면서도 그 확률, 즉 우도를 정확하게 계산할 수 있는 가역 모델입니다.
왜 텍스트가 아닌 잠재 공간에서 생각하려는가
텍스트 CoT의 장점은 해석 가능하고 기존 LLM 생성 방식과 잘 맞는다는 점입니다. 하지만 모든 중간 계산을 자연어로 확정해야 한다는 제약이 있습니다. 모델 입장에서는 아직 텍스트로 표현할 필요가 없는 계산까지 순차적인 토큰으로 만들어야 합니다.
잠재 추론은 이 과정을 바꿉니다. 답을 텍스트로 내기 전에, 압축된 연속 상태에서 중간 계산을 먼저 수행합니다.1 이론적으로는 더 짧고 유연한 방식으로 탐색할 수 있습니다.
문제는 기존 잠재 추론 방식이 종종 LLM의 중요한 장점을 잃었다는 데 있습니다. 좌에서 우로 생성하기 어렵거나, 확률적 샘플링이 자연스럽지 않거나, KV-cache 디코딩과 맞지 않거나, 추적 가능한 우도 계산이 불가능한 경우가 있었습니다.1 효율을 얻는 대신 기존 언어모델의 학습·추론 인프라와 멀어지는 셈입니다.
NF-CoT의 핵심: 잠재 사고도 같은 인과 스트림에 넣는다
NF-CoT의 차별점은 잠재 사고를 별도 모듈처럼 붙이는 것이 아니라, LLM의 동일한 인과 스트림 안에서 다룬다는 점입니다. 연속 사고 위치는 NF 헤드가 생성하고, 텍스트 답변 위치는 표준 LM 헤드가 생성합니다.1
이 구조 덕분에 NF-CoT는 두 가지를 동시에 노립니다.
첫째, 잠재 사고를 토큰처럼 순서대로 처리할 수 있습니다. 즉 기존 LLM의 좌에서 우로 생성 흐름을 크게 깨지 않습니다.
둘째, KV cache를 사용하는 확률적 디코딩과 호환됩니다.1 이는 실용적으로 중요합니다. 추론 속도와 메모리 효율을 좌우하는 기존 LLM 최적화 방식을 계속 활용할 수 있기 때문입니다.
중요한 것은 “숨겨진 생각”이 아니라 “우도를 계산할 수 있는 생각”이다
NF-CoT에서 더 중요한 지점은 잠재 사고가 단순한 내부 벡터가 아니라는 점입니다. NF-CoT는 명시적 CoT에서 증류한 압축 연속 사고에 대해 추적 가능한 확률 모델을 정의합니다.1 그리고 잠재 사고와 텍스트 답변을 모두 NLL 기반으로 end-to-end 학습합니다.2
이는 “모델이 어딘가에서 알아서 생각한다”는 모호한 주장과 다릅니다. NF-CoT는 특정 잠재 사고 경로가 얼마나 그럴듯한지 계산할 수 있게 설계되어 있습니다. 우도를 계산할 수 있으면 샘플링, 평가, 학습 목표 설정을 기존 LLM 방법론과 연결하기가 쉬워집니다.
따라서 NF-CoT의 실용적 의미는 잠재 추론을 LLM 바깥의 특수 장치로 두지 않고, 언어모델의 생성·학습 인터페이스 안으로 끌어온 데 있습니다.
성능 숫자보다 봐야 할 판단 기준
보고된 결과도 눈에 띕니다. Qwen3-8B-Base 기반 5개 코드 벤치마크에서 평균 pass@1이 55.8에서 68.8로 증가했습니다.3 코드 생성처럼 중간 추론이 중요한 작업에서 잠재 사고가 도움이 될 수 있음을 보여주는 신호입니다.
다만 이 결과만으로 “텍스트 CoT를 대체한다”고 결론내리기는 이릅니다. NF-CoT의 코드와 모델은 아직 공개 예정 상태로 제시되어 있어, 재현성과 다양한 작업에서의 검증은 더 필요합니다.
지금 단계에서 더 중요한 질문은 성능 숫자 하나가 아니라 다음입니다.
긴 텍스트 추론을 늘리는 대신, 압축된 잠재 상태에서 더 효율적으로 탐색할 수 있는가?
잠재 추론이 기존 LLM 디코딩, KV cache, 우도 기반 학습과 자연스럽게 결합되는가?
최종 답변의 품질뿐 아니라 비용과 지연까지 줄일 수 있는가?
NF-CoT가 흥미로운 이유는 이 질문들에 대한 하나의 구체적인 설계를 제시하기 때문입니다. 앞으로의 CoT 최적화는 더 긴 프롬프트를 쓰는 경쟁만은 아닐 수 있습니다. 모델이 어떤 형식의 중간 계산을 허용하고, 그 계산을 어떻게 학습 가능한 확률 모델로 다룰지가 핵심이 될 가능성이 큽니다.
1Latent Reasoning with Normalizing Flows
2Latent Reasoning with Normalizing Flows - Hugging Face Papers
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.