LLM이 50만 토큰을 읽을 수 있다고 해도, 실제 서비스의 병목은 입력 길이만이 아닙니다. 모델은 이전 토큰의 Key/Value 상태, 즉 KV 캐시를 GPU 메모리에 계속 보관해야 합니다. 컨텍스트가 길어질수록 이 캐시는 커지고, 비용과 지연도 함께 증가합니다.
FlashMemory-DeepSeek-V4가 겨냥하는 문제는 바로 이 지점입니다. “더 긴 컨텍스트를 넣을 수 있는가”보다 “그 긴 컨텍스트를 얼마나 적은 GPU 메모리로 유지할 수 있는가”에 초점을 둡니다.
FlashMemory가 바꾸는 것
FlashMemory-DeepSeek-V4는 DeepSeek-V4 아키텍처 위에 Lookahead Sparse Attention, 즉 LSA를 적용한 초장문 컨텍스트 추론 방식입니다.1
핵심 아이디어는 단순합니다. 모든 과거 토큰에 계속 어텐션하지 않고, 앞으로 필요할 가능성이 큰 KV 청크만 예측해 GPU 메모리에 유지합니다.1 다시 말해, 긴 문서를 전부 작업대 위에 펼쳐두는 대신 곧 참조할 부분만 올려두는 방식입니다.
이 접근은 긴 컨텍스트 추론을 “전체 기억을 보관하는 문제”에서 “필요한 기억을 제때 고르는 문제”로 바꿉니다.
왜 KV 캐시 절감이 중요한가
KV 캐시는 긴 컨텍스트 모델의 운영 비용을 좌우합니다. 입력이 길어질수록 GPU 메모리를 더 많이 차지하고, 이는 동시 처리량과 지연 시간에 직접 영향을 줍니다.
논문에 따르면 FlashMemory-DeepSeek-V4는 LongBench-v2, LongMemEval, RULER 평가에서 평균 물리 KV 캐시 사용량을 전체 컨텍스트 기준 13.5%로 줄였습니다.1 또한 주요 장문 평가에서 평균 정확도는 유지되거나 0.6%p 높아졌습니다.1
이 결과가 중요한 이유는 메모리 절감이 단순한 압축 문제가 아니라는 데 있습니다. 긴 문맥에서 모든 과거 정보가 항상 유용한 것은 아닙니다. 관련성이 낮은 정보는 비용을 늘릴 뿐 아니라, 경우에 따라 추론에 잡음으로 작용할 수 있습니다.
핵심은 ‘작은 인덱서’다
FlashMemory-DeepSeek-V4의 인덱서는 Neural Memory Indexer입니다. 이 인덱서는 표준 듀얼 인코더 구조로 정의되며, 대형 백본 모델을 GPU에 올리지 않고 독립적으로 학습됩니다.1
즉, 모델 전체를 크게 바꾸기보다 “어떤 KV 청크를 GPU에 남길 것인가”를 판단하는 별도 구성요소를 둡니다. 공개 구현 설명에서도 디코딩 과정에서 다음에 참조할 가능성이 높은 KV 캐시 청크를 예측하고, 점수가 높은 청크를 우선 유지하는 방향을 제시합니다.2
이 구조의 장점은 명확합니다. 초장문 컨텍스트를 다룰 때 매번 전체 과거를 동일한 비중으로 유지하지 않고, 추론에 필요한 메모리만 선별할 수 있습니다.
적용 관점에서 봐야 할 것
FlashMemory의 의미는 “메모리 90% 절감” 같은 숫자에만 있지 않습니다. 더 중요한 메시지는 긴 컨텍스트 모델의 경쟁력이 단순한 최대 입력 길이에서 운영 효율로 이동하고 있다는 점입니다.
에이전트, 코드베이스 분석, 장문 문서 QA처럼 긴 기록을 다루는 시스템이라면 앞으로는 세 가지를 함께 봐야 합니다.
얼마나 긴 컨텍스트를 받을 수 있는가
긴 컨텍스트에서도 정확도를 유지하는가
KV 캐시가 실제 GPU 메모리에서 감당 가능한가
긴 입력을 받는 능력은 출발점일 뿐입니다. 실제 제품에서는 그 입력을 안정적으로, 반복적으로, 비용 효율적으로 굴릴 수 있어야 합니다. FlashMemory는 초장문 추론의 병목을 “더 많이 읽기”가 아니라 “필요한 기억을 더 잘 관리하기”로 재정의한다는 점에서 주목할 만합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.