DeepSeek AI가 DeepSeek-V4를 공개했고, 핵심 메시지는 분명합니다. 압축 기반 어텐션 기법을 통해 최대 100만 토큰 컨텍스트를 다룰 수 있다고 내세웠습니다.1 긴 문서를 한 번에 읽는 모델은 이제 낯설지 않지만, 이번 발표가 중요한 이유는 "길다"가 아니라 "그 길이를 어떤 비용 구조로 감당하느냐"에 있습니다.
지금 시장의 경쟁은 단순히 컨텍스트 숫자를 키우는 쪽에서, 실제 서비스 가능한 메모리 사용량과 지연 시간으로 옮겨가고 있습니다. DeepSeek-V4가 언급한 Compressed Sparse Attention, Heavily Compressed Attention은 바로 이 병목--KV 캐시와 어텐션 계산량--를 줄이려는 시도로 읽는 편이 맞습니다.1
100만 토큰의 본질: 모델이 더 똑똑해졌다기보다, 더 오래 기억하게 만들었다
확인 가능한 사실부터 보죠. 공개 기사 기준으로 DeepSeek-V4는 100만 토큰 컨텍스트를 지원하며, 이를 위해 압축 희소 어텐션과 강한 압축 어텐션 계열 기법을 사용한다고 설명됩니다.1
여기서 중요한 해석은 따로 있습니다. 긴 컨텍스트는 모델의 "지능" 자체를 보장하지 않습니다. 대신 더 긴 대화, 방대한 코드베이스, 대량 문서 검색 결과를 한 번에 처리할 수 있게 해줍니다. 즉, 성능 향상 포인트는 추론 능력의 도약이라기보다 작업 단위의 확장에 가깝습니다.
실무적으로는 세 가지가 달라집니다. 첫째, RAG 파이프라인에서 문서 청크를 지나치게 잘게 쪼갤 필요가 줄 수 있습니다. 둘째, 코드 분석이나 계약서 검토처럼 문맥 손실이 치명적인 작업에서 유리합니다. 셋째, 에이전트 시스템이 이전 단계의 긴 실행 로그를 더 오래 유지할 수 있습니다. 다만 "넣을 수 있다"와 "끝까지 정확히 활용한다"는 별개입니다. 긴 컨텍스트 모델은 종종 앞부분과 뒷부분의 정보 회수 품질이 고르지 않고, 중간 구간에서 정보가 묻히는 문제가 남아 있습니다. 이 점은 여러 장문 컨텍스트 연구와 업계 벤치마크에서 반복적으로 지적돼 왔습니다.23
왜 압축 어텐션이 핵심인가: 문제는 계산보다 메모리다
트랜스포머의 긴 컨텍스트 비용은 단순히 입력 길이만 늘어나는 문제가 아닙니다. 실제 서비스에서는 KV 캐시가 GPU 메모리를 빠르게 잠식합니다. 긴 세션을 동시에 많이 처리할수록 비용은 급격히 커집니다.4
이 맥락에서 압축 어텐션의 의미가 드러납니다. 모든 토큰을 같은 해상도로 끝까지 저장하고 참조하는 대신, 덜 중요한 정보는 압축하거나 희소하게 접근하고, 중요한 정보만 더 촘촘히 남기는 방식입니다. 기술적으로는 다양한 구현이 가능하지만, 방향성은 분명합니다. "모든 걸 다 기억"하는 구조에서 "필요한 것만 비싸게 기억"하는 구조로 가는 것입니다.
이건 단순한 최적화가 아닙니다. 긴 컨텍스트가 제품 기능이 되려면, 모델 한 번 돌려보는 데모가 아니라 다중 사용자 환경에서 유지 가능한 비용 구조가 필요합니다. DeepSeek-V4의 발표를 실무자가 봐야 하는 이유도 여기에 있습니다. 100만 토큰 자체보다, 장문 처리의 단가를 얼마나 낮췄는지가 더 본질적인 질문입니다.
도입 판단 기준: 숫자보다 봐야 할 세 가지
여기서 반론도 필요합니다. 컨텍스트 길이는 이제 마케팅 숫자가 되기 쉽습니다. 100만 토큰이 가능하다는 말만으로 바로 도입 판단을 내리면 위험합니다.
실제로는 아래 세 가지를 먼저 봐야 합니다.
첫째, 장문 회수 정확도입니다. 모델이 긴 입력에서 필요한 근거를 얼마나 안정적으로 다시 끌어오는지 확인해야 합니다. "needle-in-a-haystack"류 테스트나 실제 문서 QA가 더 중요합니다.2
둘째, 비용 대비 효과입니다. 긴 컨텍스트가 RAG를 대체하는지, 아니면 더 비싼 brute-force인지 따져야 합니다. 많은 업무에서는 검색 후 2만~10만 토큰만 잘 넣어도 충분할 수 있습니다.
셋째, 지연 시간과 동시성입니다. 단일 프롬프트 데모가 아니라, 여러 사용자가 동시에 긴 세션을 돌릴 때도 응답성이 유지되는지가 운영 관점의 핵심입니다. 압축 어텐션은 이 지점을 개선하려는 접근이지만, 실제 이득은 구현과 서빙 스택에 따라 크게 달라질 수 있습니다.4
결국 DeepSeek-V4는 "이제 모델이 100만 토큰을 읽는다"는 뉴스라기보다, 장문 처리의 경제성을 놓고 경쟁이 본격화됐다는 신호에 가깝습니다. 지금 이 변화를 가장 신경 써야 하는 쪽은 대규모 문서 QA, 코드 어시스턴트, 장시간 에이전트 워크플로를 운영하는 팀입니다. 이들이 봐야 할 판단 기준은 하나입니다. 최대 컨텍스트 숫자가 아니라, 실제 업무에서 필요한 정보를 얼마나 싸고 안정적으로 꺼내 쓰게 해주느냐입니다.
참고
2Lost in the Middle: How Language Models Use Long Contexts
3RULER: What's the Real Context Size of Your Long-Context Language Models?
4vLLM: Easy, Fast, and Cheap LLM Serving with PagedAttention
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.