Microsoft가 OpenMementos 데이터셋과 관련 구현을 공개했다. 겉으로 보면 "추론 데이터 22만여 건 추가 공개"처럼 보이지만, 실제로 더 중요한 신호는 따로 있다. 긴 문맥을 다루는 AI의 다음 경쟁이 더 큰 컨텍스트 창이 아니라, 무엇을 남기고 무엇을 버릴지 모델이 스스로 배우는 방향으로 움직일 수 있다는 점이다.123
왜 지금 중요할까. 최근 추론형 LLM은 성능을 올리기 위해 생각 토큰을 길게 쓰는 쪽으로 발전해 왔다. 하지만 토큰이 길어진다는 건 곧 KV 캐시, 지연 시간, 비용, 실패 복구 난이도가 함께 커진다는 뜻이기도 하다. OpenMementos는 이 병목을 "더 많이 넣기"가 아니라 "중간 상태를 압축하고 계속 진행하기"로 풀 수 있다는 사례다.23
진짜 병목은 긴 컨텍스트가 아니라, 긴 컨텍스트를 유지하는 비용이다
Memento 방식의 핵심은 단순 요약이 아니다. 모델이 추론을 블록으로 나누고, 각 블록이 끝날 때 다음 단계에 꼭 필요한 결론·값·공식·전략만 담은 짧은 "memento"를 만든 뒤, 이전 블록은 가리고 앞으로 진행하는 구조다.23
확인된 수치만 보면 방향은 분명하다. Microsoft는 이 방식으로 피크 KV 캐시를 2~3배 줄이고, 서빙 처리량은 약 1.75배에서 거의 2배 수준까지 개선했다고 설명한다. 공개된 OpenMementos 데이터는 22만8557개 추론 트레이스로, 전체 추론 토큰을 대략 6배 압축하는 구성을 담고 있다.23
이게 왜 중요한가. 많은 팀이 "128K, 1M 컨텍스트면 해결"이라고 생각하지만, 실제 제품에서는 최대 길이보다 긴 세션을 얼마나 안정적으로 유지하느냐가 더 어렵다. 코딩 에이전트, 리서치 코파일럿, 장기 계획형 워크플로는 과거의 모든 생각을 계속 들고 가기보다, 이미 확정된 상태를 압축해서 넘기는 편이 더 현실적이다.
즉, OpenMementos는 긴 문맥 자체를 부정하는 게 아니다. 긴 문맥을 항상 원본 그대로 유지하는 설계가 비싸고 취약하다는 점을 드러낸다.
큰 컨텍스트, RAG, Memento형 메모리 중 무엇을 써야 하나
실무에서는 셋을 구분해서 봐야 한다.
큰 컨텍스트가 맞는 경우는 원문 자체의 세부 표현이 중요할 때다. 계약서 검토, 긴 코드베이스 검색, 다문서 비교처럼 "원문 재참조"가 핵심이면 압축이 오히려 손해일 수 있다.
RAG가 맞는 경우는 필요한 정보를 외부 지식에서 다시 꺼내올 수 있을 때다. 문서 검색, 사내 위키 질의, FAQ형 업무는 메모리보다 검색 품질이 더 중요하다.
반면 Memento형 메모리가 맞는 경우는 모델이 방금 스스로 만든 중간 추론 상태를 계속 이어가야 할 때다. 다단계 디버깅, 긴 수학 풀이, 가설을 세우고 수정하는 연구형 작업이 여기에 가깝다. 이때 필요한 것은 "외부 문서 검색"이 아니라 "내가 방금 도달한 상태의 보존"이다.
여기서 OpenMementos의 실무적 포인트가 나온다. 이 데이터셋은 <|block_start|>, <|summary_start|> 같은 특수 토큰으로 블록과 요약을 명시하고, SFT용 형식과 세분화된 파이프라인 정보까지 함께 제공한다.3 단순 아이디어 소개가 아니라, 실제 파인튜닝과 추적 분석에 바로 연결되는 형태다. 뉴스 소스에서도 이를 기반으로 블록 파싱, 최근 K개 블록만 남기고 이전 단계는 요약만 유지하는 식의 압축 실험 예시를 제시했다.1
앞으로의 에이전트 설계에서 달라질 것과, 같이 봐야 할 한계
이 접근이 바로 표준이 된다고 단정할 단계는 아니다. 특히 요약이 잘못되면 이후 추론이 요약의 오류를 증폭할 수 있다. 원문 블록을 버린 뒤에는 잘못 압축된 정보가 복구를 더 어렵게 만들 수도 있다. 다시 말해, 비용은 줄지만 충실성(faithfulness)과 요약 드리프트라는 새 문제가 생긴다.
또 하나 흥미로운 점은 Microsoft가 "지워진 블록의 정보가 완전히 사라지지 않는다"고 본 부분이다. 블록이 보이던 상태에서 생성된 memento의 KV 표현 속에 원래 정보가 일부 남아 있으며, 이 채널을 제거하면 정확도가 크게 떨어졌다고 한다.24 이건 매우 중요한 관찰이다. 겉보기에는 "요약 텍스트만 남겼다"고 생각하기 쉽지만, 실제론 텍스트 요약과 내부 표현이 함께 작동하고 있을 가능성이 있다는 뜻이다. 즉, Memento는 아직 완전히 설명 가능한 메모리 시스템이라기보다, 일부는 모델 내부 상태에 기대는 하이브리드 방식에 가깝다.
그래서 지금 당장 유용한 판단 기준은 단순하다. 당신의 시스템이 긴 대화를 "보관"하는 문제인지, 긴 추론을 "진행"하는 문제인지부터 구분해야 한다. 전자라면 큰 컨텍스트와 검색이 먼저고, 후자라면 OpenMementos식 압축 메모리가 더 직접적인 해법일 수 있다.
이번 변화를 특히 신경 써야 하는 사람은 코딩 에이전트, 멀티스텝 자동화, 장시간 실행형 LLM 워크플로를 만드는 팀이다. 앞으로 1년의 핵심 질문은 "모델이 얼마나 오래 기억하느냐"보다 "언제, 무엇을, 어떤 형식으로 잊게 할 것이냐"가 될 가능성이 크다.
참고
2Memento: Teaching LLMs to Manage Their Own Context
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.