DeepSeek V4에서 가장 눈에 띄는 숫자는 100만 토큰 컨텍스트입니다. 하지만 더 중요한 질문은 따로 있습니다. 그 긴 문맥을 실제 업무에서 감당 가능한 비용으로 쓸 수 있느냐입니다.
DeepSeek-V4 시리즈는 MoE 언어 모델인 DeepSeek-V4-Pro와 DeepSeek-V4-Flash의 프리뷰 버전으로 소개됐습니다. V4-Pro는 총 1.6T 파라미터와 49B 활성 파라미터를, V4-Flash는 총 284B 파라미터와 13B 활성 파라미터를 가집니다. 두 모델 모두 100만 토큰 컨텍스트 길이를 지원합니다.1
100만 토큰의 진짜 병목은 추론 비용이다
긴 컨텍스트는 문서, 코드베이스, 대화 기록을 한 번에 넣을 수 있다는 점에서 매력적입니다. 하지만 문맥이 길어질수록 모델이 새 토큰을 생성할 때 참조해야 할 정보도 늘어납니다. 이 과정에서 KV 캐시가 커지고, 메모리 사용량과 지연 시간이 병목이 됩니다.
DeepSeek V4는 이 문제를 하이브리드 어텐션 구조로 다룹니다. 공개된 설명에 따르면 V4는 Compressed Sparse Attention(CSA)과 Heavily Compressed Attention(HCA)을 결합합니다.1 CSA는 긴 문맥에서 필요한 부분을 압축적으로 참조하고, HCA는 더 강하게 압축된 형태로 전체 흐름을 유지하는 방식으로 이해할 수 있습니다.
핵심은 “긴 입력을 받을 수 있다”가 아니라 “긴 입력을 처리할 때 비용 증가를 얼마나 억제하느냐”입니다. DeepSeek-V4-Pro는 100만 토큰 컨텍스트 설정에서 DeepSeek-V3.2 대비 단일 토큰 추론 FLOPs가 27% 수준이라고 공개됐습니다.1 긴 컨텍스트가 데모용 기능을 넘어 운영 가능한 기능에 가까워지는 지점입니다.
에이전트 작업에서는 차이가 더 커진다
DeepSeek V4의 의미는 단발성 질의보다 장기 작업에서 더 잘 드러납니다. 코딩 에이전트나 리서치 에이전트는 한 번의 답변으로 끝나지 않습니다. 계획을 세우고, 도구를 호출하고, 결과를 읽고, 다시 판단하는 과정을 수십 번 또는 수백 번 반복합니다.
이런 작업에서는 컨텍스트가 계속 누적되고, 이전 단계의 정보에 반복적으로 접근해야 합니다. 따라서 모델 성능만큼이나 캐시 관리, prefix 재사용, 배치 처리, 엔드포인트 구성 같은 추론 시스템 설계가 중요해집니다. Together AI도 DeepSeek V4의 핵심을 모델 표의 점수보다 “million-token context를 어떻게 서빙할 것인가”라는 추론 시스템 문제로 봅니다.2
즉, V4의 가치는 단순히 더 많은 토큰을 넣는 데 있지 않습니다. 긴 작업을 끝까지 수행할 때 비용과 지연 시간을 얼마나 안정적으로 통제할 수 있는지가 관건입니다.
도입 판단 기준도 달라져야 한다
DeepSeek V4를 평가할 때는 “100만 토큰 지원”이라는 스펙만 보면 부족합니다. 사용 목적에 따라 봐야 할 지표가 달라집니다.
짧은 챗봇이나 일반 질의응답이라면 응답 지연 시간과 품질이 더 중요할 수 있습니다. 반대로 코드베이스 분석, 대규모 문서 질의, 장기 에이전트 실행이라면 다음 기준을 함께 봐야 합니다.
긴 컨텍스트에서 실제 지연 시간이 얼마나 증가하는가
KV 캐시와 메모리 사용량을 얼마나 효율적으로 관리하는가
prefix 재사용이 잘 되는가
배치 처리와 엔드포인트 설정에 따라 비용이 어떻게 달라지는가
최종적으로 작업 하나를 끝내는 데 드는 비용이 낮아지는가
DeepSeek V4는 “더 큰 모델” 경쟁이라기보다 긴 작업을 더 싸고 안정적으로 수행하는 모델·추론 시스템 경쟁에 가깝습니다.
결론적으로 DeepSeek V4의 관전 포인트는 100만 토큰이라는 숫자 자체가 아닙니다. 그 긴 문맥을 실제 에이전트 업무에서 얼마나 낮은 비용으로, 얼마나 안정적으로 굴릴 수 있느냐입니다.
1deepseek-ai/DeepSeek-V4-Pro · Hugging Face
2Serving DeepSeek-V4: why million-token context is an inference systems problem
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.