Parallax는 단순히 “더 싼 어텐션”을 목표로 한 구조라기보다, 언어 모델이 기억을 읽는 방식을 다시 설계하려는 시도에 가깝다. Zhaoran Wang이 참여한 연구진은 Parallax를 언어 모델링을 위한 Parameterized Local Linear Attention 구조로 공개했다.1
핵심 질문은 하나다. 소프트맥스 어텐션이 해오던 “주변 정보 읽기”를 더 좋은 추정 문제로 바꿀 수 있는가?
Parallax의 출발점: Local Linear Attention
Parallax를 이해하려면 먼저 Local Linear Attention, 즉 LLA를 봐야 한다. 기존 소프트맥스 어텐션은 주변 정보를 거의 같은 값으로 보는 local constant estimate에 가깝다. 반면 LLA는 이를 local linear estimate로 바꾼다.1
쉽게 말하면, 주변 값을 평평한 평균처럼 읽는 대신 그 안의 기울기까지 함께 보겠다는 접근이다. 논문은 이 방식이 associative memory에서 더 나은 bias-variance tradeoff를 가진다고 설명한다.1
문제는 확장성이었다. 기존 LLA는 계산 비용과 수치 안정성 문제 때문에 LLM 사전학습 규모로 키우기 어려웠다.1 좋은 아이디어였지만, 대규모 언어 모델의 실제 학습 구조로 쓰기에는 병목이 컸던 셈이다.
Parallax는 이 지점을 겨냥한다. LLA의 수치적 solver를 제거하고, 대신 KV covariance를 탐색하는 추가 query-like projector를 학습한다.1 즉, LLA의 통계적 장점은 살리되 LLM 학습에 맞게 구조를 다시 매개변수화한 것이다.
“선형 시간 어텐션”이 아니라 “다른 추정 방식”이다
Parallax를 볼 때 가장 피해야 할 오해는 이것을 단순한 선형 시간 어텐션 계열로 이해하는 것이다. 공식 저장소는 Parallax가 소프트맥스 어텐션과 비슷한 계산 구조를 공유하며, 디코딩에는 KV cache가 필요하다고 설명한다.2
따라서 Parallax의 의미는 “KV cache를 없앴다”가 아니다. 더 정확히는 소프트맥스 어텐션 계열 안에서 어텐션을 다시 분해하고, 어떤 요소를 바꾸면 더 나은 기억 읽기가 가능한지를 보여주는 구조다.
논문은 Parallax를 bandwidth, probe construction, affine structure로 연결되는 어텐션 계열 안에서 설명한다.1 이 관점이 중요하다. Parallax는 기존 어텐션을 완전히 버리는 것이 아니라, 그 안에서 “무엇을 추정하고, 어떤 probe로 읽고, 어떤 구조를 추가할 것인가”를 다시 정리한다.
구조만이 아니라 커널까지 함께 봐야 한다
Parallax의 또 다른 특징은 하드웨어 관점까지 함께 다룬다는 점이다. 논문은 FlashAttention보다 arithmetic intensity를 높이는 하드웨어 인식 알고리즘을 제안한다.1
이는 Parallax를 평가할 때 단순히 수식만 보면 부족하다는 뜻이다. 실제 LLM 아키텍처는 어텐션 정의, 학습 안정성, 커널 구현, 메모리 접근 패턴이 함께 맞물려 성능을 만든다. Parallax의 주장은 “새로운 어텐션 수식”에 그치지 않고, 그 수식을 실제 학습과 추론 환경에서 다룰 수 있도록 설계했다는 데 있다.
Parallax를 읽는 실용적인 기준
Parallax를 평가할 때는 “소프트맥스보다 빠른가?”라는 질문만으로는 부족하다. 더 유용한 판단 기준은 다음에 가깝다.
추정 방식이 달라졌는가?
Parallax는 local constant estimate를 local linear estimate로 바꾸는 LLA의 문제의식을 이어받는다.1LLA의 병목을 실제로 줄였는가?
기존 LLA의 계산 비용과 수치 안정성 문제를 해결하기 위해 수치 solver를 제거하고, 추가 query-like projector를 학습하는 방식으로 재구성했다.1기존 어텐션 계열 안에서 어디에 위치하는가?
Parallax는 bandwidth, probe construction, affine structure라는 축으로 소프트맥스 어텐션과의 관계를 설명한다.1하드웨어 구현까지 고려했는가?
논문은 FlashAttention보다 arithmetic intensity를 높이는 하드웨어 인식 알고리즘을 제안한다.1
이 기준으로 보면 Parallax의 가치는 “어텐션을 더 싸게 만든다”보다 넓다. Parallax는 어텐션을 하나의 고정된 연산으로 보지 않고, 통계적 추정 방식과 하드웨어 실행 방식이 함께 설계되어야 하는 대상으로 본다.
결론: Parallax가 던지는 질문
Parallax의 핵심은 새로운 이름의 어텐션을 하나 더 추가했다는 데 있지 않다. 더 중요한 점은 어텐션을 기억을 읽는 추정 문제로 다시 바라보고, 그 추정 방식을 LLM 규모에 맞게 매개변수화했다는 데 있다.
그래서 Parallax를 볼 때의 질문은 분명하다.
“얼마나 빠른가?”만 묻기보다, “무엇을 어떻게 추정하는가?”, “그 구조가 대규모 학습에서 안정적인가?”, “커널과 하드웨어 실행까지 함께 설계됐는가?”를 함께 봐야 한다.
Parallax가 흥미로운 이유도 여기에 있다. 어텐션의 다음 단계는 단순한 연산량 절감이 아니라, 모델이 기억을 읽는 방식 자체를 더 정교하게 설계하는 방향일 수 있다.
1Parallax: Parameterized Local Linear Attention for Language Modeling
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.