LLM을 이해할 때 가장 먼저 봐야 할 단위는 “모델”이 아니라 토큰입니다. 토큰은 비용, 지연 시간, 컨텍스트 윈도 오류를 좌우하는 기본 단위로 설명됩니다.1 입력을 얼마나 길게 넣을 수 있는지, 응답이 왜 느려지는지, 긴 문맥에서 왜 실수가 생기는지를 따질 때도 결국 토큰으로 돌아오게 됩니다.
Aleksa Gordić의 글 Inside the Transformer: The Life of a Token은 현대적인 dense transformer 안에서 토큰이 어떻게 이동하고 변형되는지를 추적합니다.2 이 글의 가치는 구성요소 이름을 나열하는 데 있지 않습니다. 하나의 토큰이 “문자 조각”에서 “문맥을 반영한 벡터”로 바뀌는 과정을 따라가며 Transformer를 이해하게 해준다는 데 있습니다.
토큰은 텍스트가 아니라 계산 단위다
LLM은 문장을 사람처럼 그대로 읽지 않습니다. 먼저 텍스트를 토큰으로 나누고, 각 토큰을 정수 ID로 바꿉니다. 이때 서브워드와 BPE 같은 개념이 토큰화의 주요 방식으로 다뤄집니다.1
이후 토큰 ID는 임베딩 테이블을 거쳐 벡터가 됩니다. 이 벡터는 모델이 계산할 수 있는 형태의 표현입니다. 다만 이 단계의 벡터는 아직 주변 문맥을 충분히 반영하지 않습니다. 같은 토큰이라도 문장 안에서 어떤 위치에 있고, 어떤 단어들과 함께 쓰였는지에 따라 의미가 달라지기 때문입니다.
그래서 위치 정보가 필요합니다. Transformer는 기본적으로 입력 순서를 스스로 알지 못하므로, 토큰이 문장 안에서 어디에 있는지를 알려주는 장치가 필요합니다. Gordić의 글이 YaRN 같은 기법을 함께 다루는 이유도 여기에 있습니다.2 긴 컨텍스트를 다루려면 단순히 토큰을 더 많이 넣는 것만으로는 부족하고, 위치 정보를 안정적으로 확장하는 방식이 중요해집니다.
문맥은 attention에서 섞인다
Transformer 블록 안의 많은 연산은 각 토큰 벡터에 개별적으로 적용됩니다. 하지만 attention은 다릅니다. attention은 한 토큰이 다른 토큰들을 참고하도록 만드는 단계입니다. 여기서 토큰은 더 이상 독립적인 조각이 아니라, 주변 문맥을 반영한 표현으로 바뀌기 시작합니다.
현대적인 Transformer에서 attention은 단순한 한 가지 방식으로만 설명되기 어렵습니다. Gordić의 글은 hybrid attention을 포함해, 긴 입력과 계산 효율 사이의 균형을 맞추기 위한 설계를 다룹니다.2 핵심은 모든 토큰이 항상 같은 방식으로 모든 토큰을 보는 것이 아니라, 문맥 활용과 비용 사이에서 절충이 필요하다는 점입니다.
QK normalization과 soft capping도 같은 흐름에서 이해할 수 있습니다.2 attention 계산이 불안정해지거나 값이 과도하게 커지는 상황을 줄이기 위한 안정화 장치입니다. 즉, 이들은 별도의 장식적인 기법이 아니라 긴 문맥과 큰 모델을 더 안정적으로 작동시키기 위한 실무적 설계에 가깝습니다.
긴 컨텍스트는 “더 많이 넣기”가 아니다
컨텍스트 윈도는 LLM이 한 번에 처리할 수 있는 토큰 범위입니다. 토큰 입문 자료에서도 컨텍스트 윈도는 LLM 처리의 핵심 제약으로 다뤄집니다.1
하지만 긴 컨텍스트를 지원한다는 말은 단순히 입력 칸이 넓어졌다는 뜻이 아닙니다. 토큰 수가 늘어나면 위치 정보, attention 계산, 메모리 사용량, 지연 시간이 함께 영향을 받습니다. 따라서 긴 문서를 넣을 수 있는 모델인지 볼 때는 최대 컨텍스트 길이만 확인해서는 부족합니다.
실제로 중요한 질문은 다음에 가깝습니다.
긴 입력에서 위치 정보를 어떻게 유지하는가?
attention은 전체 문맥을 어떤 방식으로 참고하는가?
계산량과 지연 시간을 어떻게 관리하는가?
값이 커지거나 attention이 불안정해지는 문제를 어떻게 줄이는가?
YaRN, hybrid attention, QK normalization, soft capping 같은 주제는 모두 이 질문들과 연결됩니다.2 토큰의 흐름을 따라가면 이런 기법들이 흩어진 용어가 아니라 하나의 문제, 즉 “긴 문맥을 안정적이고 효율적으로 처리하는 방법”으로 묶여 보입니다.
토큰의 생애를 보면 모델 선택 기준이 달라진다
토큰의 생애를 따라가면 LLM을 보는 기준이 더 구체적해집니다. 토큰화는 입력의 크기와 비용을 정하고, 임베딩과 위치 정보는 계산의 출발점을 만들며, attention은 문맥을 섞습니다. 정규화와 안정화 기법은 이 과정이 큰 모델과 긴 입력에서도 무너지지 않도록 돕습니다.
그래서 Transformer를 이해한다는 것은 구조도를 외우는 일이 아닙니다. 오히려 다음 질문에 답할 수 있게 되는 일입니다.
내 프롬프트는 왜 느린가?
긴 문맥을 넣었는데 왜 답이 흔들리는가?
어떤 모델이 비용과 지연 시간 면에서 운영에 유리한가?
긴 컨텍스트 모델을 볼 때 무엇을 확인해야 하는가?
Inside the Transformer: The Life of a Token이 유용한 이유는 여기에 있습니다. 토큰 하나의 이동 경로를 따라가면, LLM의 품질과 비용, 지연 시간, 긴 문맥 처리 능력을 같은 프레임 안에서 판단할 수 있습니다.2
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.