긴 컨텍스트 LLM 서빙에서 병목은 모델 가중치만이 아닙니다. 자동회귀 디코딩에서는 문맥 길이, 배치 크기, 모델 깊이에 따라 KV 캐시가 커지고, 새 토큰을 생성할 때마다 GPU 메모리에서 이 캐시의 큰 부분을 다시 읽어야 합니다.1
따라서 KV 캐시를 줄이는 일은 단순한 저장 공간 절약이 아닙니다. 더 큰 배치를 처리하고, 메모리 트래픽을 낮추며, 긴 문맥 서빙의 처리량을 끌어올리는 직접적인 최적화입니다.
OSCAR가 해결하려는 문제
Together AI가 공개한 OSCAR는 긴 문맥 LLM 서빙을 위한 INT2 KV 캐시 양자화 방법입니다. OSCAR는 Offline Spectral Covariance-Aware Rotation의 약자로, 긴 히스토리 KV 캐시를 2비트 수준으로 저장하면서도 attention 결과가 크게 망가지지 않도록 설계됐습니다.2
여기서 어려운 점은 INT2의 표현력이 매우 낮다는 것입니다. INT2는 고정 폭 표현을 쓰기 때문에 하드웨어 친화적인 설계 지점이지만, 값 표현 단계는 4개뿐입니다. KV 활성값에는 일부 채널의 값이 매우 커지는 채널별 이상치가 존재하고, 저비트 양자화에서는 이런 이상치가 양자화 스케일을 지배합니다.1 그 결과 정상적인 값들이 적은 유효 레벨 안에 눌려 들어가며 정보가 손실됩니다.
즉, KV 캐시를 단순히 2비트로 줄이는 것만으로는 충분하지 않습니다. 긴 컨텍스트에서 중요한 것은 “얼마나 작게 저장하느냐”와 함께 “attention이 실제로 필요로 하는 정보를 얼마나 보존하느냐”입니다.
단순한 회전이 아니라 attention을 고려한 회전
기존의 일부 방식은 Hadamard 변환처럼 고정된 회전을 사용해 이상치를 분산시킵니다. 이런 접근은 값의 분포를 부드럽게 만드는 데 도움이 될 수 있지만, attention이 어떤 방향의 정보를 더 민감하게 사용하는지는 반영하지 못합니다.
OSCAR의 차이는 이 지점에 있습니다. OSCAR는 오프라인 단계에서 attention-aware covariance 구조를 추정하고, 이를 바탕으로 key와 value에 대해 별도의 회전을 도출합니다.2 구체적으로 key에는 query 공분산을, value에는 attention score가 반영된 value 공분산을 사용합니다.
이 설계의 관점은 명확합니다. 목표는 원래 KV 값을 가장 충실하게 복원하는 것이 아니라, 양자화 이후에도 attention의 출력이 덜 흔들리도록 만드는 것입니다. 다시 말해 OSCAR는 “압축률”만 보는 KV 양자화가 아니라, attention 계산에서의 민감도를 기준으로 한 KV 양자화입니다.
왜 실전 서빙에서 의미가 있나
OSCAR의 가치는 정확도와 시스템 효율을 함께 본다는 데 있습니다. 논문 기준으로 OSCAR는 Qwen3-4B-Thinking-2507에서 KV 요소당 2.28비트로 BF16 대비 평균 정확도 격차를 3.78포인트까지 줄였습니다. Qwen3-8B에서는 그 격차가 1.42포인트였습니다.2 단순 INT2 또는 Hadamard-only 방식이 낮은 비트폭에서 크게 흔들릴 수 있다는 점을 고려하면, attention-aware 설계의 의미가 분명해집니다.
시스템 측면에서도 긴 컨텍스트 서빙에 맞춘 구성이 포함돼 있습니다. OSCAR는 SGLang의 paged KV cache와 호환되는 INT2 attention 커널을 제공하며, 긴 히스토리는 INT2로 저장하고 sink token과 최근 토큰은 BF16으로 유지합니다.3 또한 100K 컨텍스트 길이에서 약 8배의 KV 메모리 절감과 batch-size-1 디코딩 기준 최대 3배 속도 향상을 보고했습니다.2
적용 관점에서 봐야 할 것
OSCAR가 주는 실용적 메시지는 간단합니다. 긴 컨텍스트 LLM 서빙에서는 모델 자체를 줄이는 것만큼이나, 매 토큰마다 읽어야 하는 KV 캐시를 줄이는 것이 중요합니다. 특히 컨텍스트 길이가 커질수록 KV 캐시는 메모리 용량과 대역폭을 동시에 압박하므로, 캐시 압축은 처리량과 비용에 직접 연결됩니다.
다만 저비트 양자화는 단순히 비트 수를 낮추는 문제가 아닙니다. INT2처럼 공격적인 압축에서는 이상치, attention 민감도, 최근 토큰 보존 방식까지 함께 고려해야 합니다. OSCAR는 이 기준을 잘 보여주는 사례입니다. 긴 문맥 서빙을 최적화할 때는 “얼마나 작은 캐시인가”보다 “attention이 필요한 정보를 어떤 방식으로 보존하는가”를 먼저 봐야 합니다.
2OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.