AI 생성 이미지
AI 검색에서 비용과 지연시간을 줄이는 가장 직접적인 방법은 더 작은 모델을 쓰는 것만이 아닙니다. 모델에 넣기 전에, 질문과 무관한 컨텍스트를 덜 보내는 것도 중요합니다.
Perplexity AI가 프로덕션에 적용한 query-aware compression은 바로 이 문제를 겨냥합니다. 검색된 문서를 통째로 LLM에 넘기거나 일반 요약으로 줄이는 대신, 사용자 질문에 답하는 데 필요한 구간만 남겨 컨텍스트를 압축하는 방식입니다.1
Query-aware compression은 무엇이 다른가
핵심 질문은 “이 문서가 중요한가?”가 아니라 “이 질문에 답하기 위해 이 문서의 어느 부분이 필요한가?”입니다.
Perplexity는 이를 스니펫 생성 문제로 다룹니다. 쿼리와 후보 검색 결과를 함께 보고, 답변에 필요한 span을 선택합니다.1 즉, 문서 전체의 일반적 중요도를 판단하는 것이 아니라 현재 질문에 대한 관련성을 기준으로 남길 부분을 고릅니다.
또 하나 중요한 점은 이 방식이 생성형 요약이 아니라 추출형 압축에 가깝다는 것입니다. 원문을 새로 써서 줄이는 대신 필요한 부분을 보존하므로, 인용 추적이 쉽고 잘못된 재서술 위험도 줄일 수 있습니다.1
왜 AI 검색에서 중요한가
AI 검색은 보통 검색 → 읽기 → 답변 합성의 흐름으로 동작합니다. 문제는 검색 결과에 항상 유용한 본문만 들어 있지 않다는 점입니다. 메뉴, 광고, 메타데이터, 반복 문구, 질문과 무관한 문장까지 함께 섞입니다.
이런 노이즈가 LLM 입력에 많이 들어가면 세 가지 문제가 생깁니다.
불필요한 토큰 때문에 비용이 증가합니다.
모델이 읽어야 할 양이 늘어 지연시간이 커집니다.
관련 없는 정보가 답변 품질을 방해할 수 있습니다.
Perplexity의 시스템이 컨텍스트 토큰을 최대 70% 줄인다는 점은 그래서 단순한 비용 절감 이상의 의미를 갖습니다.1 핵심은 “덜 넣기”가 아니라 “질문에 필요한 정보의 밀도를 높이기”입니다. LLM이 더 적은 입력으로도 답변에 필요한 근거를 더 잘 읽도록 만드는 운영 기술에 가깝습니다.
압축의 단위는 더 작아지고 있다
query-aware compression의 방향은 검색 결과의 문장이나 구간을 고르는 데서 끝나지 않습니다. 연구 쪽에서는 압축 단위를 더 세밀하게 나누는 접근이 등장하고 있습니다.
Sub-token routing은 토큰, 페이지, 헤드, 레이어보다 더 세밀한 단위로 트랜스포머 표현을 압축하는 방식입니다.2 특히 query-aware KV 압축에서는 predictor 기반 selector가 보존할 정보를 선택합니다.2
이때 query-aware 설정은 쿼리 조건부 관련성을 사용해 컨텍스트 토큰과 value-group 쌍에 전역 보존 예산을 배분합니다.2 쉽게 말하면, 전체 입력을 동일하게 줄이는 것이 아니라 질문과의 관련성에 따라 어디를 더 보존하고 어디를 더 줄일지 정하는 방식입니다.
역할도 나뉩니다. 토큰 단위 query-aware 선택은 어떤 토큰을 전역적으로 남길지 결정하고, sub-token routing은 살아남은 토큰 내부를 어떻게 압축할지 결정합니다.2 두 방식을 결합하면 작업 정확도를 거의 유지하면서 더 깊은 KV 압축이 가능하다는 점이 핵심입니다.2
실무적으로 봐야 할 포인트
Perplexity의 사례에서 얻을 수 있는 교훈은 분명합니다. 긴 컨텍스트를 무조건 많이 넣는 것이 좋은 RAG나 AI 검색을 보장하지 않습니다. 중요한 것은 검색된 정보 중 질문에 실제로 필요한 부분을 얼마나 잘 골라내느냐입니다.
따라서 AI 검색이나 RAG 시스템을 설계할 때는 다음 기준을 봐야 합니다.
검색 결과를 그대로 넣는가, 질문 기준으로 압축하는가
요약으로 재작성하는가, 원문 span을 보존하는가
토큰 절감이 답변 품질과 인용 가능성을 해치지 않는가
압축 기준이 문서 전체 중요도인지, 쿼리 조건부 관련성인지
결국 경쟁력은 “많이 찾기”에서 “질문에 맞게 덜어내기”로 이동하고 있습니다. query-aware compression은 AI 검색이 더 빠르고 저렴하면서도 근거 중심 답변을 유지하기 위해 필요한 핵심 기술 중 하나입니다.
1Query-Aware Context Compression for Better Snippets
2[2604.21335] Sub-Token Routing in LoRA for Adaptation and Query-Aware KV Compression
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.