openai tokenizer를 사용하는데 요즘 토큰 수가 안 맞는다. tokenizer는 GPT-3를 기반으로 하고 있는데 요즘 API 토큰의 거의 2배가 나온다. 이럴 때 open ai 가 구현한 tiktoken을 사용하면 되는데 다음 허깅 페이스 스페이스에 있는 온라인 토큰 계산기를 이용하면 된다.

[Tiktoken Calculator - a Hugging Face Space by JacobLinCool](https://huggingface.co/spaces/JacobLinCool/tiktoken-calculator)

cl100k_base를 사용하면 대략적으로 맞다.

아니면 직접 tiktoken을 받아서 코드로 구현해도 된다.

openai tokenizer를 사용하는데 요즘 토큰 수가 안 맞는다. tokenizer는 GPT-3를 기반으로 하고 있는데 요즘 API 토큰의 거의 2배가 나온다. 이럴 때 open ai 가 구현한 tiktoken을 사용하면 되는데 다음 허깅 페이스 스페이스에 있는 온라인 토큰 계산기를 이용하면 된다.<a href="https://huggingface.co/spaces/JacobLinCool/tiktoken-calculator">Tiktoken Calculator - a Hugging Face Space by JacobLinCool</a>cl100k_base를 사용하면 대략적으로 맞다.아니면 직접 tiktoken을 받아서 코드로 구현해도 된다.

Titoken Caculator 로 ChatGPT 토큰 수 정확하게 세기 (토큰 계산기)