AI 생성 이미지
LLM은 문장을 그대로 읽지 않습니다. 먼저 텍스트를 더 작은 단위인 토큰으로 나눕니다. 이 과정이 토큰화입니다. 토큰은 단어, 문자, 서브워드, 문장 같은 단위가 될 수 있고, 모델이 텍스트를 수치적으로 다루기 위한 기본 입력이 됩니다.1
그중 서브워드 토큰화는 문자보다 크고 전체 단어보다 작은 조각으로 텍스트를 나누는 방식입니다.1 단어 토큰화와 문자 토큰화 사이의 절충안에 가깝습니다. 단어 단위보다 희귀어와 어휘 사전에 없는 단어를 다루기 쉽고, 문자 단위보다 보통 더 짧은 시퀀스로 문장을 표현할 수 있습니다.1
이 때문에 서브워드 토큰화는 LLM 학습에서 널리 쓰입니다. 하지만 중요한 질문은 따로 있습니다. 서브워드가 실제로 성능에 도움이 된다면, 그 이유는 정확히 무엇일까요?
서브워드의 장점은 단순한 토큰 수 감소가 아니다
서브워드 토큰화의 장점은 흔히 “같은 텍스트를 더 적은 토큰으로 표현한다”는 말로 설명됩니다. 시퀀스가 짧아지면 학습과 추론이 효율적일 수 있기 때문입니다.
하지만 이번 연구는 이 설명을 더 세밀하게 나눠 봅니다. 연구진은 서브워드 LLM이 바이트 수준 LLM보다 성능이 좋은 이유에 대해 7가지 가설을 세우고, 각각을 바이트 수준 사전학습 파이프라인에서 개별적으로 시뮬레이션했습니다.2 실험은 fineweb-edu 데이터셋과 LLaMA-3 아키텍처를 사용해 1.7B 파라미터 규모에서 검증됐습니다.2
핵심은 “서브워드가 좋다”가 아니라, 서브워드의 어떤 효과가 실제 검증 손실을 바꾸는가입니다. 연구 결과 7개 가설 중 3개만 해당 규모에서 검증 손실에 영향을 준 것으로 나타났습니다.2
무엇이 모델 학습을 바꾸는가
이 연구가 유용한 이유는 토큰화를 하나의 전처리 선택이 아니라, 모델 학습 조건을 바꾸는 설계 요소로 다룬다는 점입니다.
서브워드 토큰화는 텍스트를 나누는 방식만 바꾸는 것이 아닙니다. 같은 데이터라도 모델이 보는 시퀀스 길이, 처리할 수 있는 샘플 수, 어휘 구성, 경계 정보가 달라집니다. 형태 변화가 많은 언어나 희귀 단어를 다룰 때 유리하다는 일반적 장점도 여기서 나옵니다.1
따라서 서브워드의 효과를 이해할 때는 다음처럼 나눠 봐야 합니다.
같은 문장을 몇 개의 토큰으로 표현하는가
희귀어와 도메인 용어를 어떻게 분해하는가
특정 언어에 과도한 토큰 비용을 만들지 않는가
토큰 경계가 모델에 어떤 구조적 힌트를 주는가
같은 학습 예산에서 더 많은 샘플을 처리하게 만드는가
이 관점에서 보면 토큰화는 단순히 “텍스트를 자르는 방법”이 아닙니다. 모델이 어떤 단위로 패턴을 보고, 어떤 비용으로 학습하는지를 정하는 선택입니다.
바이트 수준 모델이 얻을 수 있는 힌트
바이트 수준 모델은 원칙적으로 어떤 문자도 처리할 수 있습니다. 별도의 서브워드 어휘에 덜 의존하고, 어휘 밖 단어 문제에서도 자유롭습니다. 반면 같은 텍스트를 더 긴 시퀀스로 표현하기 쉬워 학습 효율 측면에서 불리할 수 있습니다.
이번 연구의 결론은 “서브워드가 항상 정답이고 바이트 모델은 틀렸다”가 아닙니다. 오히려 서브워드 토큰화의 이점을 분리해 보면, 바이트 수준 모델도 일부 장점을 설계로 가져올 수 있음을 시사합니다.2
예를 들어 중요한 것이 단순히 토큰 단위 자체가 아니라 처리량이나 경계 정보라면, 바이트 모델에서도 그에 대응하는 학습 설계를 고민할 수 있습니다. 즉 비교의 초점은 토크나이저 이름이 아니라, 모델이 어떤 정보를 어떤 비용으로 학습하느냐가 됩니다.
실무에서 볼 기준
토크나이저를 선택하거나 평가할 때는 어휘 크기만 보는 것으로 부족합니다. 실제로는 다음 질문이 더 중요합니다.
같은 입력이 얼마나 긴 시퀀스로 바뀌는가?
희귀어, 신조어, 도메인 전문어를 안정적으로 처리하는가?
다국어 환경에서 특정 언어에 불리한 토큰 비용을 만들지 않는가?
학습 예산 안에서 충분한 샘플 처리량을 확보하는가?
모델이 의미 있는 경계나 반복 패턴을 배우기 쉬운가?
토큰화는 원시 텍스트를 통계적·계산적으로 분석하기 쉽게 만드는 전처리 단계이면서, 동시에 모델이 학습할 특징을 정하는 과정입니다.1 그래서 LLM 학습에서는 토큰화를 데이터 파이프라인의 부속품이 아니라 성능과 효율을 함께 좌우하는 설계 변수로 봐야 합니다.
결국 이번 연구가 주는 실용적 메시지는 분명합니다. 서브워드 토큰화의 가치는 “압축” 하나로 설명되지 않습니다. 중요한 것은 어떤 분할 방식이 모델에 더 좋은 학습 단위, 더 나은 처리 효율, 더 유용한 구조적 신호를 제공하느냐입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.