본문으로 바로가기
검색
회원가입로그인

Titoken Caculator 로 ChatGPT 토큰 수 정확하게 세기 (토큰 계산기)

openai tokenizer를 사용하는데 요즘 토큰 수가 안 맞는다. tokenizer는 GPT-3를 기반으로 하고 있는데 요즘 API 토큰의 거의 2배가 나온다. 이럴 때 open ai 가 구현한 tiktoken을 사용하면 되는데 다음 허깅 페이스 스페이스에 있는 온라인 토큰 계산기를 이용하면 된다.

Tiktoken Calculator - a Hugging Face Space by JacobLinCool

cl100k_base를 사용하면 대략적으로 맞다.

아니면 직접 tiktoken을 받아서 코드로 구현해도 된다.