MiniMax Sparse Attention: 긴 문맥의 병목을 줄이는 방식

긴 문맥 LLM의 병목은 단순히 “얼마나 많이 기억하느냐”가 아닙니다. 더 큰 문제는 긴 컨텍스트를 매번 얼마나 비싼 비용으로 읽어야 하느냐입니다. 컨텍스트가 100만 토큰까지 길어지면 일반 어텐션의 계산량은 빠르게 커지고, 실제 서비스에서는 지연 시간과 비용으로 이어집니다.

MiniMax Sparse Attention, MSA는 이 문제를 줄이기 위해 제안된 GQA(Grouped Query Attention) 기반의 블록 단위 희소 어텐션입니다.¹ 핵심 아이디어는 모든 토큰을 같은 방식으로 보지 않고, 먼저 중요한 KV 블록을 고른 뒤 그 블록에만 어텐션 계산을 집중하는 것입니다.

MSA는 무엇을 바꾸나

MSA는 두 개의 분기로 구성됩니다.

첫 번째는 Index Branch입니다. Index Branch는 KV를 블록 단위로 보고, 각 query와 GQA 그룹별로 중요한 Top-k KV 블록을 독립적으로 선택합니다.¹

두 번째는 Main Branch입니다. Main Branch는 Index Branch가 고른 블록에 대해서만 정확한 블록-희소 어텐션을 수행합니다.¹

여기서 중요한 점은 MSA가 어텐션을 “대충 계산”하는 방식이 아니라는 점입니다. 계산 대상을 줄이되, 선택된 블록 안에서는 정확한 어텐션을 수행합니다. 즉, 긴 문맥 전체를 무차별적으로 읽는 대신, 필요한 후보를 먼저 좁히고 그 안에서 계산 품질을 유지하려는 구조입니다.

왜 GQA 기반인가

MSA는 GQA 위에서 동작합니다. GQA는 여러 query head가 key-value head를 공유하도록 만들어 어텐션 비용을 줄이는 구조입니다.¹

MSA는 이 공유 구조를 활용해 GQA 그룹별로 중요한 블록을 선택합니다. 따라서 희소화의 단위가 단순히 토큰 하나하나가 아니라, 실제 GPU 실행에 더 적합한 블록 단위가 됩니다. 이 설계는 알고리즘상의 계산량 감소뿐 아니라 커널 최적화와도 연결됩니다.

성능 수치가 의미하는 것

논문 기준 MSA는 109B 파라미터 모델과 네이티브 멀티모달 학습 환경에서 평가됐습니다.¹ 1M 컨텍스트에서는 토큰당 어텐션 연산량을 28.4배 줄였다고 보고했습니다.¹

실제 실행 시간에서도 개선이 보고됐습니다. MSA 전용 커널은 H800에서 prefill 벽시계 시간을 14.2배, decoding 벽시계 시간을 7.6배 단축했습니다.¹

이 수치는 두 가지 측면에서 중요합니다. 첫째, 긴 입력을 한 번에 처리하는 prefill 단계에서 비용을 크게 줄입니다. 둘째, 토큰을 순차적으로 생성하는 decoding 단계에서도 이득이 있습니다. 긴 문맥 모델을 실제로 배포할 때는 두 단계 모두 병목이 될 수 있기 때문에, 단순한 이론적 FLOPs 감소보다 더 실용적인 지표입니다.

알고리즘만이 아니라 실행 경로까지 설계했다

MSA의 차이는 희소 어텐션 아이디어 자체에만 있지 않습니다. GPU에서 효율적으로 실행되도록 설계된 점도 핵심입니다.

논문은 MSA의 GPU 실행 경로에서 exp-free Top-k 선택을 사용한다고 설명합니다.¹ 또한 블록 단위 접근에서도 tensor core 활용도를 높이기 위해 KV-outer sparse attention을 사용합니다.¹

이는 긴 문맥 최적화에서 중요한 교훈을 줍니다. 어텐션 계산량을 줄이는 알고리즘을 제안하는 것만으로는 충분하지 않습니다. 실제 하드웨어에서 빠르게 실행될 수 있도록 데이터 접근 방식, 블록 구조, 커널 설계가 함께 맞아야 합니다.

적용할 때 봐야 할 기준

MSA를 이해할 때 핵심 질문은 “희소 어텐션이 가능한가”가 아니라 “어떤 조건에서 실질적인 이득이 나는가”입니다. 적용 관점에서는 다음 기준을 볼 필요가 있습니다.

1. 품질 유지
   Top-k 블록 선택이 중요한 정보를 충분히 잡아내는지가 핵심입니다. MSA는 선택된 블록 안에서는 정확한 어텐션을 수행하지만, 어떤 블록을 고르느냐가 전체 품질에 직접 영향을 줍니다.

2. 하드웨어와 커널 의존성
   논문에서 보고된 속도 개선은 H800과 전용 커널을 포함한 결과입니다.¹ 따라서 다른 GPU나 운영 환경에서도 같은 수준의 이득이 나는지는 별도로 확인해야 합니다.

3. 작업 유형과 컨텍스트 길이
   MSA의 장점은 긴 문맥에서 더 분명해집니다. 긴 문서 분석, 에이전트 메모리, 코드베이스 탐색, 멀티모달 입력처럼 실제로 많은 컨텍스트를 읽어야 하는 작업에서 가치가 커질 가능성이 높습니다.

MSA가 보여주는 방향

MSA의 결론은 명확합니다. 긴 문맥 LLM의 효율화는 모델 크기만으로 해결되지 않습니다. 어떤 정보를 먼저 찾고, 어디에 계산을 집중하며, 이를 GPU에서 어떻게 빠르게 실행할지가 함께 설계돼야 합니다.

MSA는 모든 토큰을 매번 같은 비용으로 보려는 접근에서 벗어나, 필요한 블록을 빠르게 고른 뒤 그곳에 정확한 계산을 집중하는 방향을 보여줍니다. 2026년 6월 11일 arXiv v1으로 공개된 이 논문은 긴 컨텍스트 모델의 다음 병목이 어텐션 구조와 실행 커널의 공동 설계에 있음을 잘 보여주는 사례입니다.¹

참고

¹MiniMax Sparse Attention