ChatGPT plugins

ChatGPT 플러그인은 내가 만든 api를 ChatGPT에 포함할 수 있는 기능이다.이를 활용해서 인터넷 검색, 문서 검색, 워크플로우 등 다양한 플러그인을 개발해서 ChatGPT 사용자들이 사용할 수 있게 할 수 있다. 앱스토어나 크롬 웹스토어 같은 느낌인것 같다.

현재는 대기자 리스트를 받아 일부 개발자들에게만 공개하고 있다. 이 과정을 거친 후 더 많은 사용자에게 공개할 예정이라고 한다.

ChatGPT plugins : OpenAI 공식 홈페이지에서 확인할 수 있다.

이런식으로 플러그인을 골라서 사용할 수 있다.

스토어 명칭은 플러그인 스토어인듯 하다. 플러그인과 플러그인 스토어에서 안전성을 중시한다고 한다.

OpenAI에서 자체 개발한 플러그인도 있는데 다음과 같다.

• web browser (웹 브라우저) : 인터넷에 접근해서 최신 정보를 가져올 수 있는 웹브라우저 플러그인 (!)

이미지 출처 : OpenAI.

ChatGPT에는 없는 오스카 수상 정보를 인터넷에서 검색해서 응답을 해주는 모습. 출처도 같이 표시된다. Bing search api를 활용한다고 한다. 과정을 보면 robots.txt에 정보에 따라서 가능하면 실시간 크롤링을 하는 것 같다!

• code interpreter (코드 해석기) : 샌드박스 안에 간단한 파이썬 코드를 돌릴 수 있는 환경을 제공한다. 임시적으로 간단한 파일을 올릴 수 있고 코드를 실행할 수 있다. 코드는 채팅창과 커뮤니케이션 할 수 있고, 이전 코드를 바탕으로 다음 코드를 실행할 수 있다. 실행한 결과를 다운로드 받을 수 있다.

Calculating... 부분을 보면 파이썬을 내부에서 실행하고 있음을 알 수 있다.

이게 엄청난 이유는 인공지능이 코딩을 하고 이를 실행할 수 있다는 것이다. 그리고 그 결과를 다음 코딩에 사용할 수 있다.

아래 블로그를 보면 이미지로 아스키 아트를 만들고 OCR을 활용하고 팩맨 알고리즘을 활용해 GIF를 만드는 등 다양하게 활용할 수 있는 것을 볼 수 있다.

https://andrewmayneblog.wordpress.com/2023/03/23/chatgpt-code-interpreter-magic/

• retrieval plugin (내부 문서 검색 플러그인. 오픈 소스로 공개. github) : 개인이나 조직의 정보를 반영한 데이터 (파일, 노트, 이메일, 공개 문서) 를 로드해서 질문과 대답을 주고 받을 수 있는 플러그인.

3rd 파티앱

3rd 파티 앱을 manifest 파일을 통해 플러그인 스토어에 올릴 수 있다. 인스타카트에서 사용자를 대신해서 주문하고 울프램 알파를 통해 음식의 칼로리를 계산하고 chatgpt로 레시피를 만드는 등 다양한 행동을 할 수 있다. 간단한 TODO 앱을 만드는 것을 예시로 보여줬다.

다음 트위터에서는 OpenAI 회장인 그렉 브록맨이 트윗에서 파이썬 샌드박스를 활용해 동영상의 첫 5초를 잘라내고 다운 받는 모습을 볼 수 있다. (moviepy)를 사용하는 듯 하다.

https://twitter.com/gdb/status/1638971232443076609?s=46&t=PJXwnVvHZ_WMVJM_18DC_Q

근데 진짜 놀라운 것은 manifest 파일의 description에 일반적인 언어로 모델이 어떻게 작동하는지 쓰는 것이다. 인간의 언어로 어떻게 동작하는지 기술하고 어떤 경우에 어떤 api를 사용하는지 정도만 기술하면 된다. 프롬프트 = 코딩인 것이다.

여기에 auth가 필요한 경우와 사용하는 api를 명세서에 적으면 ChatGPT가 알아서 플러그인을 작동시킨다.

OpenAI CHAT PLUGINS : 이미 개발자들을 위한 문서를 만들어 놓았다. 여기서 manifest를 어떻게 기술하는지 확인해 볼 수 있다.

생각

요즘 gpt를 위한 앱을 만들어야 겠다고 생각하고 있었는데 한 번 도전해 봐야겠다!