Transformers v5에서의 토크나이제이션: 더 간단하고, 더 명확하며, 더 모듈화된

토크나이저 v5 개편: Transformers v5는 토크나이저의 정의 방식을 개편하여, 구조는 명확하고 클래스 계층은 정리되어 있으며, 빠른 백엔드를 사용합니다.

토크나이저 구조 분리: v5에서는 PyTorch의 nn.Module처럼 토크나이저의 구조(정규화, 사전 토크나이징, 모델 유형 등)를 훈련된 파라미터(어휘, 병합)와 분리합니다.

코드 중복 감소: 이전 v4에서는 느린 Python 토크나이저와 빠른 Rust 기반 토크나이저를 각각 별도의 파일에서 관리했으나, v5에서는 하나의 파일로 통합하여 코드 중복 및 혼란을 줄였습니다.

백엔드 통합 및 선택: v5에서는 Rust 기반 백엔드를 기본값으로 통합하여 사용하고, PythonBackend와 SentencePieceBackend는 선택적인 경우에만 사용됩니다.

맞춤형 토크나이저 훈련 가능: v5에서는 특정 모델과 동일한 방식으로 동작하는 토크나이저를 새로운 데이터를 토대로 훈련할 수 있으며, 이를 통해 특정 도메인 또는 언어에 적합한 새로운 토크나이저를 만들 수 있습니다.

명확한 클래스 정의: 토크나이저의 구조가 명확하게 정의되어 있어, 토크나이저가 어떤 기능을 하는지, 어떤 특수한 토큰이 있는지를 쉽게 파악할 수 있습니다.

라이브러리의 레이어드 아키텍처: AutoTokenizer는 모델에 맞는 토크나이저 클래스를 자동으로 선택하고, 이를 통해 유저는 손쉽게 올바른 토크나이저를 사용할 수 있습니다.

실용적 포인트: 이 개편으로 구현이 더 모듈화되고 투명해져, 사용자들이 ML 시스템을 구축할 때 더 편리하게 사용할 수 있습니다.