ChatGPT 등에 들어가는 정확한 토큰을 셀 수 있는 사이트이다. <|im_start|><|im_end|>와 같은 구분 토큰까지 정확하게 세준다.
각 gpt 모델 별로 비용도 계산해 준다.
Tiktokenizer
토크나이저를 토큰을 셀 때 활용해 보자!