LLM 서비스의 속도 병목은 꼭 GPU 모델 추론에서만 생기지 않습니다. 소형 리랭커나 임베더가 GPU에서 한 자릿수 ms 안에 실행될수록, 그 앞에서 텍스트를 토큰 ID로 바꾸는 CPU 작업이 더 크게 드러납니다.
Perplexity가 Unigram 토크나이저를 오픈소스로 공개하고, CPU 사용률을 5~6배 줄이도록 재구축했다고 밝힌 점이 의미 있는 이유도 여기에 있습니다.1 이 사례는 토크나이저를 단순한 전처리 도구가 아니라 추론 파이프라인의 성능 부품으로 봐야 한다는 신호에 가깝습니다.
Unigram 토크나이저를 어떻게 이해할까
Unigram은 텍스트를 단어보다 작은 서브워드 단위로 나누는 토크나이징 방식입니다. SentencePiece 계열에서 널리 쓰이며, 원시 유니코드 텍스트에서 직접 동작하고 언어별 사전 토큰화 규칙에 덜 의존합니다.2 공백, 문자, 바이트 기반 입력을 처리할 수 있기 때문에 여러 언어와 다양한 입력 형식에 대응하기 쉽습니다.2
핵심은 “가장 그럴듯한 분할”을 찾는 데 있습니다. Unigram은 각 서브워드에 확률을 부여하고, 가능한 분할 후보들의 격자에서 Viterbi 알고리즘으로 최적 경로를 선택합니다.2 학습 과정에서는 EM 업데이트로 서브워드 확률을 갱신하고, 가능도가 낮은 서브워드를 가지치기합니다.2
BPE와 비교하면 차이가 더 분명합니다. BPE는 가장 자주 등장하는 인접 기호 쌍을 탐욕적으로 병합합니다.2 반면 Unigram은 여러 분할 가능성을 확률 모델로 다루고, 그중 가장 가능성 높은 분할을 고릅니다. 이 방식은 T5와 ALBERT에서 기본 토크나이저로 사용된 바 있습니다.2
왜 지금 CPU 토크나이징이 중요해졌나
토크나이저는 모델보다 작아 보이지만, 모든 요청에서 반드시 실행됩니다. 특히 검색, 리랭킹, 임베딩처럼 짧은 입력을 대량으로 처리하는 시스템에서는 요청당 몇 ms의 차이도 전체 CPU 비용과 지연시간에 누적됩니다.
Perplexity의 접근이 흥미로운 지점은 모델 자체를 더 작게 만드는 것이 아니라, 모델 앞단의 비용을 줄였다는 데 있습니다. GPU 추론이 충분히 빨라질수록 CPU에서 수행되는 토크나이징, 정규화, 메모리 할당 같은 작업이 병목으로 떠오릅니다.
따라서 토크나이저를 평가할 때는 “정확히 같은 토큰을 만들 수 있는가”만 보면 부족합니다. 지연시간, CPU 사용률, 메모리 할당, 디토큰화 안정성도 함께 봐야 합니다. 예를 들어 SentencePiece는 공백을 U+2581 메타 심볼로 치환해 원문 복원을 가역적으로 만드는 방식을 사용합니다.2 이런 세부 설계가 실제 서비스 안정성에 영향을 줍니다.
도입 전에 확인할 기준
첫 번째 기준은 호환성입니다. 기존 모델과 같은 어휘, 같은 정규화 규칙, 같은 특수 토큰을 사용하는지 확인해야 합니다. 토크나이저가 바뀌면 입력 ID가 달라지고, 같은 문장도 모델 입장에서는 다른 입력이 될 수 있습니다.
두 번째 기준은 실제 트래픽에서의 성능입니다. 평균 처리 시간만으로는 충분하지 않습니다. p95 지연시간, CPU 사용률, 긴 입력에서의 메모리 할당, 동시 요청 상황에서의 처리량을 함께 봐야 합니다. 토크나이저 최적화의 가치는 실험용 문장 몇 개보다 운영 환경의 요청 분포에서 더 잘 드러납니다.
세 번째 기준은 어휘 크기와 운영 조건입니다. SentencePiece는 사용자가 목표 어휘 크기를 사전에 지정하며, 일반적으로 8K~50K 범위를 사용합니다.2 어휘 크기, 입력 길이, 언어 분포가 달라지면 토크나이징 비용과 결과도 달라질 수 있습니다.
배울 점
Perplexity Unigram Tokenizer의 핵심 메시지는 단순합니다. 토크나이저는 전처리 유틸리티가 아니라 추론 파이프라인의 핵심 부품입니다. 모델이 빨라질수록, 모델 주변의 작은 단계들이 전체 성능을 좌우합니다.
따라서 LLM 서비스를 운영한다면 토크나이저를 정확도 관점뿐 아니라 비용과 지연시간 관점에서도 측정해야 합니다. Perplexity의 오픈소스 공개는 “토크나이징 최적화만으로도 CPU 비용 구조를 바꿀 수 있다”는 실무적 판단 기준을 제공합니다.1
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.