본문으로 바로가기
TILNOTE
소개
로그인회원가입
page thumbnail

토큰을 정확하게 셀 수 있는 dqbd 의 tiktokenizer 사이트 (토큰 수 세기)

T
tilnote
2023-12-18 20:12•조회수 396

ChatGPT 등에 들어가는 정확한 토큰을 셀 수 있는 사이트이다. <|im_start|><|im_end|>와 같은 구분 토큰까지 정확하게 세준다.

각 gpt 모델 별로 비용도 계산해 준다.

Tiktokenizer

토큰을 정확하게 셀 수 있는 dqbd 의 tiktokenizer 사이트 (토큰 수 세기) image 1

토크나이저를 토큰을 셀 때 활용해 보자!

#ai#인공지능