긴 문맥 AI 모델을 볼 때 흔히 관심은 “얼마나 많이 담을 수 있는가”에 쏠립니다. 하지만 실제 병목은 조금 다릅니다. 긴 입력을 모두 원형 그대로 들고 갈 수 없다면, 모델은 결국 정보를 압축해야 합니다. 그 순간 중요한 문제는 저장 용량이 아니라 메모리 편집 능력입니다. 무엇을 남기고, 무엇을 흐리게 만들고, 무엇을 새로 덮어쓸 것인가가 성능과 효율을 가릅니다.
이 관점에서 NVIDIA AI가 공개한 Gated DeltaNet-2는 단순한 새 레이어라기보다, 선형 어텐션 계열이 안고 있던 메모리 갱신 문제를 다시 설계하려는 시도로 볼 수 있습니다.12
왜 선형 어텐션에서 ‘편집 규칙’이 중요한가
일반적인 어텐션 기반 디코딩에서는 과거 토큰의 key-value 정보를 계속 보관하는 KV 캐시가 중요합니다. 문제는 문맥이 길어질수록 이 캐시도 함께 커진다는 점입니다. 반면 선형 어텐션은 무제한으로 늘어나는 KV 캐시를 고정 크기의 recurrent state로 압축합니다. 그 결과 시퀀스 믹싱을 선형 시간으로 줄이고, 디코딩 시 필요한 메모리를 상수 크기로 만들 수 있습니다.2
효율성만 보면 매력적인 방향입니다. 그러나 고정 크기 state는 무한한 저장소가 아닙니다. 과거의 key-value 연관을 압축해 담는 구조이기 때문에, 새 정보를 넣을 때 기존 정보와 충돌할 수 있습니다. 따라서 선형 어텐션의 핵심 난제는 “압축된 메모리를 어떻게 읽을 것인가”뿐 아니라 “압축된 메모리를 어떻게 손상 없이 고칠 것인가”에 있습니다.
델타 규칙의 기본 아이디어와 한계
델타 규칙 기반 모델은 state를 갱신할 때 현재 key로부터 읽어낸 값을 기준으로 기존 성분을 조정하고, 그 자리에 새 value를 반영하는 방식으로 동작합니다.2 단순화해 말하면, 현재 입력과 관련된 기존 내용을 일부 제거한 뒤 새 내용을 쓰는 구조입니다.
이 방식은 선형 어텐션에서 메모리 갱신을 가능하게 하는 중요한 출발점입니다. 하지만 압축된 state 안에서는 지우기와 쓰기가 항상 같은 성격의 작업은 아닙니다. 지우기는 주로 기존 key-value 연관을 얼마나 제거할지와 관련되고, 쓰기는 새 value 정보를 얼마나 반영할지와 관련됩니다. 두 동작을 너무 강하게 묶으면, 보존해야 할 연관까지 지우거나 반대로 새 정보를 충분히 기록하지 못하는 상황이 생길 수 있습니다.
Kimi Delta Attention은 channel-wise decay를 통해 forgetting을 더 세밀하게 다루는 방향을 제시했습니다.2 다만 이전 Gated DeltaNet과 KDA는 erase와 write를 하나의 scalar gate로 함께 제어한다는 제약이 있었습니다.12 즉, 지우는 정도와 쓰는 정도를 독립적으로 조정하기 어렵다는 문제가 남아 있었습니다.
Gated DeltaNet-2의 설계 포인트
Gated DeltaNet-2의 핵심은 erase와 write를 분리했다는 점입니다. 이 레이어는 델타 규칙에서 지우기 동작과 쓰기 동작을 별도로 다루는 선형 어텐션 구조입니다.12
구체적으로는 key 축에 채널별 지우기 게이트 b_t를 두고, value 축에 채널별 쓰기 게이트 w_t를 둡니다.12 또한 Kimi Delta Attention에서 사용된 channel-wise decay 개념을 계승합니다.2 recurrent state 갱신은 decay된 이전 state에서 key-side 성분을 선택적으로 제거한 뒤, 새 value-side 성분을 더하는 방식으로 이해할 수 있습니다.2
이 변화는 작아 보이지만 의미가 있습니다. 압축 메모리에서 지우기와 쓰기는 서로 다른 축의 결정입니다. 어떤 key 연관을 약화할지와 어떤 value 채널을 새로 반영할지는 항상 같은 강도로 움직일 필요가 없습니다. Gated DeltaNet-2는 이 둘을 분리함으로써, 고정 크기 state 안에서 더 세밀한 편집을 가능하게 하려는 접근입니다.
기술적 함의: 긴 문맥은 ‘저장’보다 ‘충돌 관리’의 문제다
Gated DeltaNet-2가 흥미로운 이유는 긴 문맥 모델의 경쟁 축을 다르게 보여주기 때문입니다. 문맥 길이를 늘리는 접근은 보통 더 많은 정보를 참조할 수 있게 만드는 방향으로 설명됩니다. 하지만 선형 어텐션 계열에서는 정보가 recurrent state로 압축되기 때문에, 모델의 품질은 state 내부에서 연관들이 얼마나 잘 유지되고 갱신되는지에 크게 의존합니다.
여기서 중요한 것은 메모리를 크게 만드는 것만이 아닙니다. 고정 크기 메모리 안에서 오래된 정보, 현재 필요 없는 정보, 새로 들어온 정보를 어떻게 구분하느냐가 중요합니다. 특히 긴 문서, 반복되는 엔티티, 비슷한 패턴의 입력이 이어지는 상황에서는 key-value 연관의 충돌 가능성이 커집니다. 이런 환경에서는 정교한 forgetting과 writing 규칙이 모델 효율성만큼이나 중요한 설계 요소가 됩니다.
Gated DeltaNet-2의 분리 게이트 구조는 이 문제를 직접 겨냥합니다. 지울 것과 쓸 것을 별도로 제어한다는 것은, 압축 메모리를 단순한 누적 공간이 아니라 지속적으로 편집되는 작업 공간으로 본다는 뜻입니다.
확인된 규모와 읽어야 할 한계
공개된 자료에 따르면 Gated DeltaNet-2는 1.3B 파라미터 규모로 100B FineWeb-Edu 토큰에서 학습됐습니다.12 이 정보는 모델의 실험적 위치를 이해하는 데 필요한 기준점입니다. 다만 이 사실만으로 더 큰 모델이나 다양한 배포 환경에서의 일반적 우위를 단정할 수는 없습니다.
또한 erase와 write의 분리가 언제나 실질적 이득으로 이어지는지도 적용 조건에 따라 달라질 수 있습니다. 선형 어텐션의 장점은 긴 시퀀스에서의 시간·메모리 효율성에 있지만, 압축 state를 사용하는 만큼 정보 손실과 갱신 오류의 관리가 중요합니다. 따라서 Gated DeltaNet-2를 평가할 때는 단순한 구조적 참신성보다, 어떤 유형의 긴 문맥 작업에서 메모리 편집 능력이 얼마나 안정적으로 작동하는지를 봐야 합니다.
앞으로 볼 것들
Gated DeltaNet-2 이후 주목할 지점은 세 가지입니다.
첫째, erase와 write를 분리한 설계가 다양한 길이와 데이터 성격에서 일관되게 유리한지 확인해야 합니다. 둘째, 고정 크기 recurrent state가 실제 응용에서 얼마나 안정적으로 과거 연관을 보존하는지 살펴볼 필요가 있습니다. 셋째, 선형 어텐션 계열이 기존 KV 캐시 기반 어텐션과 어떤 역할 분담을 하게 될지도 중요한 관전 포인트입니다.
결국 Gated DeltaNet-2가 던지는 메시지는 명확합니다. 긴 문맥 AI의 다음 단계는 단순히 더 오래 기억하는 모델이 아닐 수 있습니다. 더 중요한 경쟁력은 제한된 메모리를 더 잘 편집하는 능력에서 나올 가능성이 큽니다.
1GitHub - NVlabs/GatedDeltaNet-2: Official PyTorch Implementation of Gated DeltaNet-2
2Gated DeltaNet-2: Decoupling Erase and Write in Linear Attention
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.