OpenAI DevDay - 개발자 컨퍼런스 노트 정리

tilnote2023-11-07 03:50

새벽 3시에 일어나서 OpenAI 개발자 컨퍼런스를 봤다. (실화인가...) 샘 올트먼과 OpenAI 직원들이 생각보다 놀라운 소식들을 전해주었다. 새로운 아이폰 모먼트를 보고 있는 느낌이다. 참고로 주간 활성 사용자가 1억명이라고 한다.

GPT-4 Turbo

GPT4의 새로운 모델. (OpenAI의 모델 스펙 : 현재 모델명은 gpt-4-1106-preview 로 사용 가능합니다. 속도 엄청 빠름...)
128,000 토큰 컨텍스트. (드디어 OpenAI 도 10만 토큰의 벽을 깼다! 표준 책으로 300페이지 분량을 그냥 입력할 수 있다.)
JSON 모드 : 출력을 json 으로만 할 수 있다. 아웃풋을 콘트롤 하기 위해서 이게 필요했다...
더 나은 펑션 콜링. (여러 함수를 한꺼번에 처리할 수 있음. 명동 콜링 아님...)
Reproducible output : 시드 파라미터를 전달하면 동일한 결과를 전해줌.
데이터 학습이 2021년 9월에서 2023년 4월까지로 최신 데이터 반영.
새로운 모달리티 : GPT-4 Turbo with vision, 달리3, TTS 등 모두 API 로 사용 가능!
- DALL-E 3 API : https://platform.openai.com/docs/guides/images?context=node
- Vision API : https://platform.openai.com/docs/guides/vision
- TTS API : https://platform.openai.com/docs/guides/text-to-speech
오픈소스 모델인 Whisper V3 API로 제공 예정.
GPT-3.5 파인튜닝 16k 버전 오픈. GPT-4 파인튜닝은 일부 실험 접근 허용.
커스텀 모델 : 모델의 훈련과정에 관여해서 특정 도메인 학습을 시킬 수 있는 모델. 리소스가 많이 들어가는 모델이라 소규모 기업 오픈.
Copyright shield : 엔터프라이즈와 API 사용자들에게 저작권 분쟁 시 보호.
GPT-4 가격 인하 : 인풋 토큰은 3배 저렴. 아웃풋 토큰은 2배 저렴. 약 2.75배의 가격 인하 효과를 보일 것. (1000 인풋 토큰 당 1센트, 1000 아웃풋 토큰 당 3센트)
Rate limit 분 당 토큰 수 2배 생성 가능.
GPT-3.5 터보 16K 가격 인하. GPT-3.5 터보 4K, 16K 파인튜닝 가격 인하.

GPTs

GPT를 사용해서 커스텀 챗봇을 만들 수 있는 플랫폼.

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 1

지시사항(instructions)이나 데이터 파일을 업로드해서 커스텀 챗봇을 만들 수 있다. (Character.ai 랑 비슷한 느낌이다.)

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 2

Knowledge에 파일을 직접 올릴 수 있고 웹브라우징, 달리 이미지, 코드 인터프리터 등의 능력이 가능하다.

링크로 공유할 수 도 있다. 그리고 GPT Store라는게 생긴다고 한다. (11월 말에 오픈할 예정) 수익 쉐어도 가능하다고 하는데 이에 대한 자세한 정보는 나중에 공개할 것 같다.

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 3

GPT store의 모습

사용은 여기에서 할 수 있다. https://chat.openai.com/gpts/editor

Assistants API

API 개발을 더 쉽게 만들어 주는 도구.
Threading (긴 대화 이력을 지속적으로 저장하고 관리하는 기법.), Retrieval (관련 맥락 검색), Code interpreter (파이썬 실행환경), function calling (GPT가 함수 호출 가능) 을 잘 활용할 수 있게 만들어 놓음. 이 4가지 스킬을 잘 조합해서 사용할 수 있다.

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 4

playground의 Assistant 모드

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 5

앱의 위의 4가지 기능을 조합해서 맵을 조종하는 등 다양한 작업을 하는 모습.

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 6

code interpreter가 실행된 모습. UI는 샘플로 보여준 것.

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 7

실제 코드를 보면 이런식으로 /api/openai/threads/${threadID}/messages 에 보내는 방식으로 assistant를 사용한다.

OpenAI DevDay - 개발자 컨퍼런스 노트 정리 image 8

Whisper, TTS API를 통해서 음성으로 명령을 하고 함수 호출 기능으로 컨퍼런스 참석자 모두에게 OpenAI 크레딧을 쏘는 장면...

Assistants API는 https://platform.openai.com/assistants 에서 사용할 수 있다.
사용법은 https://platform.openai.com/docs/assistants/overview

소감

컨퍼런스를 통해 새로운 기술이 나왔다기 보다는 현재 나온 기술들을 잘 조합해서 만들어 낼 수 있는 것이 굉장히 많다는 것을 알게 되었다. 아마 창의력과 상상력의 새로운 세계를 연 것이 아닌가 싶다. 사실 GPT가 나오기 전에는 컴퓨터나 인터넷이 재미가 없어졌다고 생각했는데 여기에 새로운 공학적 상상력의 문이 열리지 않았나 싶다. ChatGPT에는 제 2의 아이폰이라고 이름을 붙여도 손색이 없을 것 같다.

자세한 정보는 다음 링크에서 찾아볼 수 있다.

OpenAI DevDay