
토큰을 정확하게 셀 수 있는 dqbd 의 tiktokenizer 사이트 (토큰 수 세기)
ChatGPT 등에 들어가는 정확한 토큰을 셀 수 있는 사이트이다. <|im_start|><|im_end|>와 같은 구분 토큰까지 정확하게 세준다.
각 gpt 모델 별로 비용도 계산해 준다.
토크나이저를 토큰을 셀 때 활용해 보자!
ChatGPT 등에 들어가는 정확한 토큰을 셀 수 있는 사이트이다. <|im_start|><|im_end|>와 같은 구분 토큰까지 정확하게 세준다.
각 gpt 모델 별로 비용도 계산해 준다.
토크나이저를 토큰을 셀 때 활용해 보자!