ChatGPT API

openai 에서 chatgpt api 를 런칭했습니다.

Introducing ChatGPT and Whisper APIs

chatgpt와 동일한 인공지능 모델을 사용했습니다. 정확한 모델명은 gpt-3.5-turbo 입니다. gpt 3.5 터보는 현재 유료 사용자들에게 기본으로 제공되고 있는 모델입니다.

가격은 1000 토큰당 0.002 달러입니다. 1000토큰은 영어로 약 750단어입니다. 기존 GPT 3.5 모델보다 10배 정도 저렴한 가격이라고 합니다. 비용 감축 면에서 많은 발전이 있었다고 하네요.

스냅, 퀴즐렛, 인스타카드, 쇼피파이 등이 얼리 어답터로 적용을 하고 있다고 합니다.

스냅챗은 스냅챗+(유료 구독)에 My AI 기능을 탑재해서 챗봇과 채팅을 할 수 있게 했습니다.

퀴즐렛은 Q-Chat을 선보였는데 인공지능 튜터입니다. 맥락을 이해하고 학생들의 질문에 대답할 수 있다고 합니다.

인스타카드는 쇼핑 할 때 추천을 해줄 수 있는 챗봇을 탑재했습니다. 정보의 과도화나 부담을 챗봇을 통해 많이 줄여줄 수 있을 것이라고 합니다.

쇼피파이는 개인에 맞는 추천을 해주는 쇼핑 도우미를 만들었습니다.

ChatML (Chat Markup Language)

기존 completion 모델은 그냥 텍스트를 보냈는데 ChatGPT는 메타정보를 포함해서 정보를 보낼 수 있게 바뀌었습니다. 예전에 act as 키워드를 통해 챗봇의 역할을 정할 수 있었는데 이런 정보를 공식적으로 포함해서 보낼 수 있습니다.

보시면 role 이라고 json 형식으로 정보를 추가적으로 보낼 수 있습니다.

추가적인 사실

전용 인스턴스 : 현재 api는 Azure에서 공유된 환경에서 운영됩니다. 하지만 모델과 시스템을 좀 더 통제하기를 원하는 회사들을 위해 전용 인스턴스도 함께 공개했습니다. 이 전용 인스턴스는 컨텍스트 제한을 늘릴 수 도 있다고 합니다. (gpt에는 기억이나 입출력에 토큰 제한이 있습니다.) 꽤 규모가 큰 회사들이라면 (하루에 4억 5천만 토큰 이상 사용) 고려해볼 수 있을 것 같습니다.

위스퍼 api (Whisper API) : whisper api도 함께 공개했습니다. whisper는 말하는 것을 받아서 적을 수 있는 인공지능입니다. large v2 모델을 사용할 수 있는데 가격은 분당 0.006달러입니다.