토큰을 정확하게 셀 수 있는 dqbd 의 tiktokenizer 사이트 (토큰 수 세기)Ttilnote2023-12-18 20:12•조회수 350ChatGPT 등에 들어가는 정확한 토큰을 셀 수 있는 사이트이다. <|im_start|><|im_end|>와 같은 구분 토큰까지 정확하게 세준다.각 gpt 모델 별로 비용도 계산해 준다.Tiktokenizer토크나이저를 토큰을 셀 때 활용해 보자!#ai#인공지능슬라이드로 보기