Deepseek V4.1-Flash가 긴 컨텍스트 비용을 줄이는 방법
AI 에이전트는 긴 문서, 대화 기록, 도구 실행 결과를 반복해서 참조한다. 이때 운영 비용을 좌우하는 요소 중 하나가 이전 토큰의 정보를 저장하는 KV 캐시다. Deepseek V4.1-Flash는 대규모 모델의 가중치 자체를 줄이기보다, 긴 컨텍스트를 처리할 때 누적되는 KV 캐시를 구조적으로 줄이는 데 초점을 맞췄다.
거대한 모델에서 일부 매개변수만 활성화한다
Deepseek V4.1-Flash는 이미지를 이해하고 텍스트를 자기회귀 방식으로 생성하는 멀티모달 혼합전문가(MoE) 모델이다. 전체 매개변수는 5,520억 개지만 토큰마다 입력 처리에는 80억 개, 텍스트 출력에는 160억 개만 활성화한다. 최대 100만 토큰의 컨텍스트를 처리한다.1
모델은 20층 인과 인코더와 20층 디코더로 구성된 40층 Causal Encoder-Decoder 구조를 사용한다. 특히 디코더의 전역 KV 캐시는 각 디코더 층의 은닉 상태에서 개별적으로 생성되지 않는다. 대신 최종 인코더 은닉 상태에서 투영해 층마다 발생할 수 있는 캐시 중복을 줄인다.1
KV 캐시를 저장하는 대신 필요한 구간만 복원한다
SWA Bounded Replay는 누락된 슬라이딩 윈도 어텐션(SWA) KV 상태가 필요할 때 최근 n_win 토큰만 다시 실행해 복원한다. 모든 SWA KV를 SSD에 계속 저장할 필요가 없기 때문에 영구 KV 캐시의 SSD 저장량은 이전 모델의 약 8분의 1로 줄었다.1
CSA2도 캐시 절감에 기여한다. 이 방식은 각 어텐션 층에 Full·Reindex·Reuse 중 하나의 정적 모드를 할당하고, 여러 층에서 메인 KV와 인덱서 K를 공유한다. 또한 Top-K 희소 어텐션 인덱스를 재사용해 같은 정보를 층마다 반복해서 저장하거나 계산하는 부담을 줄인다.1
그 결과 전역 KV 캐시는 토큰당 890바이트다. 이는 DeepSeek-V4-Flash의 약 4분의 1이며, DeepSeek-V1과 비교하면 약 437분의 1이다.1 긴 대화나 반복 호출이 많은 서비스에서는 이 수치가 세션당 메모리와 저장장치 사용량을 판단하는 중요한 기준이 된다.
도입할 때는 모델 크기와 캐시 비용을 구분해야 한다
캐시가 작아졌다고 모델 자체가 가벼워진 것은 아니다. 5,520억 개의 전체 가중치를 저장하고 실행하는 부담은 여전히 남는다. 따라서 실제 배포 가능성을 평가할 때는 최대 컨텍스트 길이만 보지 말고 다음 항목을 함께 검증해야 한다.
예상 입력 및 출력 길이
동시 세션 수와 세션당 KV 캐시 사용량
SSD와 GPU 메모리 사이의 데이터 이동 부담
분산 추론 지원과 사용 가능한 하드웨어
목표 처리량과 지연 시간
Deepseek V4.1-Flash는 텍스트와 이미지로 구성된 45조 토큰 데이터셋으로 처음부터 훈련됐다. 모델 파일은 Hugging Face에서 MIT 라이선스로 공개돼 있으므로, 도입 전 실제 워크로드에서 캐시 절감 효과와 인프라 요구량을 직접 확인할 수 있다.1
요약: Deepseek V4.1-Flash의 핵심은 거대한 모델을 작게 보이게 만드는 것이 아니다. 긴 컨텍스트를 사용하는 AI 에이전트에서 반복적으로 누적되는 KV 캐시의 저장량과 중복을 구조적으로 줄였다는 데 의미가 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.