추론 모델은 최종 답을 내기 전에 긴 사고 체인을 생성해 정확도를 높인다. 하지만 출력이 길어질수록 디코드 단계에서 KV 캐시가 커지고, 메모리와 계산 비용이 병목이 된다.1
VaSE(Value-Aware Stochastic KV Cache Eviction)는 이 문제를 줄이기 위한 훈련 없는 KV 캐시 제거 방식이다. 핵심은 고정된 캐시 예산 안에서 어떤 KV 쌍을 남길지 결정할 때, 단순한 선택 기준이 아니라 value state의 magnitude와 확률적 샘플링을 함께 사용한다는 점이다.1
왜 KV 캐시 ‘선택’만으로는 부족한가
KV 캐시 최적화는 크게 선택(selection)과 제거(eviction)로 나눌 수 있다.
선택 방식은 전체 KV 캐시를 메모리에 유지한 채, 디코드 단계마다 일부 KV 쌍만 활성화한다. 이 방식은 정확도 측면에서 유리할 수 있지만, 전체 캐시를 계속 들고 있어야 하므로 메모리 사용량이 시퀀스 길이에 따라 선형으로 증가한다.1
반면 제거 방식은 캐시가 정해진 예산에 도달하면 중요도가 낮다고 판단한 KV 쌍을 영구적으로 버린다. 덕분에 메모리 사용량을 고정할 수 있고 처리량도 개선될 수 있다. 문제는 잘못 버리면 정확도 손실이 커진다는 점이다. 특히 기존 제거 방식은 추론 과제에서 선택 기반 희소 어텐션보다 정확도 저하가 더 큰 경향이 있다.1
VaSE는 바로 이 지점을 겨냥한다. 제거 방식의 장점인 고정 메모리 예산을 유지하면서, 추론 성능 저하를 줄이려는 접근이다.
VaSE의 기준: 큰 value state를 보호한다
VaSE의 출발점은 value state의 magnitude 분포에 대한 관찰이다. 이 분포는 고르게 퍼져 있지 않고 강하게 치우쳐 있으며, 일부 토큰만 비정상적으로 큰 벡터 magnitude를 가진다.1
VaSE는 이런 큰 value state를 중요한 신호로 본다. 즉, “최근에 등장한 토큰인가” 또는 “attention을 많이 받았는가”만 보는 것이 아니라, 출력에 큰 영향을 줄 수 있는 value state를 함부로 제거하지 않도록 설계된다.
여기에 확률적 샘플링을 결합한다. magnitude가 큰 KV 쌍만 기계적으로 남기면 캐시 구성이 한쪽으로 치우칠 수 있다. VaSE는 중요한 KV 쌍을 보존하면서도 다양한 KV 쌍이 함께 남도록 확률성을 사용한다.1
정리하면 VaSE는 고정된 KV 캐시 예산 안에서 두 가지 목표를 동시에 추구한다.
큰 magnitude의 value state를 가진 중요한 KV 쌍을 유지한다.
확률적 제거를 통해 캐시 다양성을 확보한다.
실무적으로 봐야 할 질문
VaSE의 의미는 “KV 캐시를 줄이는 또 하나의 기법”에 그치지 않는다. 긴 추론을 많이 수행하는 환경에서는 출력 길이가 곧 비용이고, KV 캐시는 배치 크기와 처리량을 제한하는 주요 요인이 된다.
따라서 VaSE가 던지는 실용적인 질문은 이렇다.
정해진 캐시 예산 안에서 무엇을 절대 버리면 안 되는가?
VaSE의 답은 value-aware eviction이다. 즉, value state의 magnitude를 중요한 보존 기준으로 삼고, 확률적 샘플링으로 캐시의 다양성을 함께 유지한다.
도입을 검토한다면 다음 조건을 먼저 확인할 수 있다.
긴 사고 체인이나 긴 출력이 자주 발생하는가?
GPU 메모리 때문에 배치 크기나 처리량이 제한되는가?
KV 캐시 제거 후 반복 생성, 추론 루프, 답변 실패 같은 문제가 늘어나는가?
이 조건에 해당한다면 VaSE 같은 제거 기반 접근은 실험해볼 가치가 있다. 특히 전체 KV 캐시를 계속 유지하기 어려운 상황에서는, 단순히 “얼마나 버릴 것인가”보다 “무엇을 남겨야 하는가”를 묻는 기준이 더 중요해진다.
1Value-Aware Stochastic KV Cache Eviction for Reasoning Models
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.