Transformer 어텐션을 설명할 때는 보통 Query-Key에 시선이 간다. Q와 K가 “어디를 볼지” 정하고 softmax 가중치를 만들기 때문이다.
하지만 어텐션 출력에 실제로 섞여 들어가는 내용은 Value다. QK가 선택 기준이라면, V는 선택된 정보 그 자체다. 최근 논의되는 value residual stream은 이 차이를 깊이 축에서 다시 묻는다. 깊은 어텐션 층은 새로 만든 관계 패턴만 쓰는가, 아니면 초기 또는 이전 Value 정보를 계속 보존해 가져오는가?
잔차 스트림은 깊이 방향의 정보 경로다
현대 Transformer는 두 개의 순서 축을 따라 정보를 갱신한다. 하나는 토큰이 나열된 시퀀스 축이고, 다른 하나는 레이어가 쌓이는 깊이 축이다.1
시퀀스 축에서는 self-attention이 내용에 따라 토큰 간 정보를 선택적으로 섞는다. 반면 일반적인 잔차 스트림은 깊이 축에서 이전 상태를 고정적으로 더한다.1 즉, self-attention이 “무엇을 섞을지”를 학습한다면, 잔차 경로는 “무엇을 계속 전달할지”를 누적한다.
이 때문에 잔차 연결은 단순히 학습을 안정화하는 우회로로만 보기 어렵다. 깊은 모델에서는 표현을 저장하고 다음 층으로 운반하는 메커니즘의 일부로 작동한다.1 value residual stream을 이해하려면 바로 이 깊이 방향의 정보 흐름을 봐야 한다.
QK는 기준이고, V는 내용이다
어텐션에서 Q와 K는 가중치를 만든다. 하지만 최종 출력은 그 가중치로 V를 가중합한 결과다. 따라서 “어디를 볼지”와 “무엇을 가져올지”는 구분해야 한다.
bank_of_values로 알려진 실험 흐름은 이 구분을 직접 건드린다. 깊은 어텐션 층에서 현재 잔차 스트림 xi와 초기 토큰 임베딩 x0의 계수를 학습하고, 이를 Q, K, V별로 따로 살핀 것이다. 그 결과 QK 쪽의 x0 계수는 0에 가깝고, V 쪽의 x0 계수는 크게 나타났다고 보고됐다.
이 관찰이 시사하는 바는 명확하다. 깊은 층에서 초기 정보가 다시 쓰인다면, 그것은 주로 검색 기준인 QK보다 실제 내용인 V를 통해 남아 있을 가능성이 크다. 모델은 매 층 관계를 처음부터 다시 구성하기보다, 유용한 값들의 저장고를 깊이 방향으로 유지하며 필요할 때 꺼내 쓰는 방식에 가까울 수 있다.
깊이 축도 설계 대상이 된다
이 관점은 “깊이 방향의 연산”을 더 적극적으로 설계하려는 흐름과도 연결된다. 토큰 위치를 고정하고 레이어 인덱스를 순서 변수로 보면, 깊이 방향의 잔차 어텐션 읽기는 깊이 축에 적용된 causal ShortSWA 같은 로컬 연산자로 볼 수 있다. full-memory 변형은 같은 계열의 full-window 한계로 해석된다.1
기존 구조들도 비슷한 문제의식을 공유한다. ELC-BERT는 각 레이어에 이전 레이어 출력들의 볼록 결합을 입력하고, DenseFormer는 각 블록 뒤에 현재 및 과거 표현의 깊이 가중 평균을 삽입한다.1 Vertical Attention, DeepCrossAttention, MUDDFormer, Attention Residuals는 이전 레이어에 대한 어텐션 기반 라우팅을 사용한다.1
공통점은 하나다. Transformer의 정보 흐름을 시퀀스 축의 QK 패턴만으로 설명하지 않고, 레이어를 따라 무엇이 보존되고 재사용되는지도 함께 본다는 점이다.
읽을 때의 판단 기준
value residual stream 관점에서 Transformer를 볼 때 유용한 질문은 다음과 같다.
깊은 층의 어텐션이 새로 계산한 QK 패턴에 얼마나 의존하는가?
초기 또는 이전 레이어의 정보가 V 경로를 통해 얼마나 유지되는가?
잔차 스트림은 단순 누적인가, 아니면 깊이 방향의 선택적 읽기처럼 설계될 수 있는가?
효율화나 해석 가능성 개선이 QK가 아니라 V 재사용에서 나올 수 있는가?
결론은 간단하다. Transformer 어텐션을 QK만으로 보면 절반만 보는 것이다. 깊은 모델에서는 V가 무엇을 보존하는지, 그리고 잔차 스트림이 그 값을 깊이 방향으로 어떻게 전달하는지가 성능, 효율, 해석 가능성을 판단하는 중요한 관찰 지점이 된다.
1Residual Stream Duality in Modern Transformer Architectures
2Value Residual Learning For Alleviating Attention Concentration In Transformers
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.