OpenAI 임베딩 모델과 API 업데이트

새로운 임베딩 모델

text-embedding-3-small 과 text-embedding-3-large 의 두 가지 새로운 임베딩 모델을 공개했다. 임베딩은 콘텐츠의 개념을 나타나는 일련의 숫자들이다.

이미지 : 이렇게 텍스트를 넣으면 텍스트의 특징을 반영한 고차원의 벡터가 나온다.

text-embedding-3-small 은 작은 모델이다. 전 모델인 text-embedding-ada-002 (2022년 12월 출시) 에 비하면 다국어 검색 multi-language retrieval (MIRACL)이 31.4% 에서 44.0%로 늘었다. 한편 영어 벤치마크 점수인 English tasks (MTEB)는 61.0%에서 62.3%로 늘었다. (다국어면 한글에서 검색 능력이 많이 올라갔겠군요.)

또한 text-embedding-3-small는 가격도 text-embedding-ada-002 보다 5배 더 저렴해졌다. 1k 토큰이 $0.0001 에서 $0.00002 로 다운됐다.

text-embedding-3-large도 새로운 임베딩 모델이다. 이 모델은 3072 차원의 임베딩을 생성한다. 이 모델은 002 모델에 비해 MIRACL은 31.4% 에서 54.9%로 상승하고, MTEB는 61.0% 에서 64.6% 로 증가했다.

text-embedding-3-large 의 가격은 1k 토큰 당 $0.00013 이다. (002랑 비슷하네요.)

좀 특이한건 임베딩의 차원을 줄여서도 사용할 수 있네요. 예를 들어 text-embedding-3-large는 3000차원 정도인데 1000차원으로 줄여서 써도 됩니다. 물론 퍼포먼스는 약간 떨어진다고 합니다.

가격인하

새로운 GPT-3.5 turbo 모델과 가격인하

다음 주에 gpt-3.5-turbo-0125 를 소개한다고 합니다. 이 모델은 인풋이 1K 토큰 당 $0.0005로 가격이 50% 인하되고, 아웃풋 토큰은 $0.0015로 25% 인하된다고 합니다. 이 모델은 요청 응답의 형식을 좀 더 정확하게 지키고 버그가 수정됐다고 합니다. gpt-3.5-turbo 모델을 쓰고 있는 사람들은 자동으로 gpt-3.5-turbo-0613 에서 gpt-3.5-turbo-0125 로 바뀐다고 합니다. (모델 출시 2주 후 적용)

GPT-4 Turbo 프리뷰 업데이트

GPT-4 Turbo preview model 인 gpt-4-0125-preview 가 새로나왔습니다. 별칭에 gpt-4-turbo-preview 를 쓰면 항상 새로운 터보 프리뷰 모델로 연결된다고 합니다.

그 외에 API 키 관리를 업데이트가 있었다고 합니다.

모든 내용은 open ai 블로그에서 확인이 가능합니다. New embedding models and API updates

생각

저는 text embedding 002를 쓰고 있었는데요 003은 아마 호환이 안될 것 같습니다. 003의 small 모델과 large 모델이 호환되는지도 궁금하네요. 가격이 저렴하니 마이그레이션 등을 나중에 해야 할 것 같습니다. 다국어 성능이 올라간 것을 봐서는 안넘어갈 수 는 없을것 같네요.

gpt-4 turbo로 사람들이 많이 넘어왔다고 하는데요. 터보 쓰시는 분들은 별칭에 gpt-4-turbo-preview 를 사용하면 항상 최신 모델을 사용할 수 있습니다.