OpenAI 의 미래 로드맵 - 샘 알트만 대담 요약
최근 샘 알트만이 20명 가량의 개발자들과 OpenAI와 API에 대해 대담을 나누었다고 합니다. 여기서 OpenAI의 미션과 로드맵에 대해서 대화를 나누었고 많은 인사이트를 전해주는것 같아 정리해 보았습니다. 원문은 OpenAI's plans according to Sam Altman 에서 보실 수 있습니다.
현재 OpenAI는 GPU 자원 때문에 제약을 받고 있다.
더 긴 32k 컨텍스트는 아직 많은 사람들에게 공개할 수 없다. OpenAI는 아직 attention model의 O(n^2) 스케일링 문제를 해결하지 못했다. 그럼에도 불구하고 올해 안에 10만~100만 토큰의 컨텍스트 윈도우에 도달할 수 있을 것으로 보인다.
파인 튜닝 API는 현재 GPU 자원의 한계 때문에 병목현상을 겪고 있다. 아직 Adapters나 LoRa와 같은 효율적인 파인튜닝 메소드는 사용하지 않고 있다. 현재 파인 튜닝은 많은 컴퓨팅 리소스를 사용한다. 파인튜닝을 위한 더 나은 지원이 있을 예정이다. 어쩌면 커뮤니티가 호스팅하는 모델들의 마켓플레이스가 있을지도 모르겠다.
OpenAI의 단기 로드맵
2023
더 저렴하고 빠른 GPT-4 : 현재 최우선사항. 비용을 낮춤으로써 지식의 비용을 낮추려고 하는 것이 목표.
더 긴 콘텐스트 윈도우 : 1백만 토큰 윈도우가 가까운 미래에 실현 될 것으로 보임.
파인튜닝 API : 파인튜닝 API가 최신 모델까지 확장될 것임. 다만 정확한 형태는 개발자가 정말 원하는게 무엇인지에 따라 결정될 것임.
Stateful API : 현재 chat API는 대화 내용을 전부 보내서 맥락을 기억해야 함. 하지만 미래에는 대화 이력을 기억하는 API가 있을 예정임.
2024
멀티 모달리티 (이미지 등 멀티미디어 지원) : GPT-4의 데모에 포함됐지만 더 많은 GPU가 온라인에 있기 전까지 확장할 수 없을 것 같음.
플러그인은 아직 PMF를 가지고 있지 않다.
많은 개발자들이 ChatGPT 플러그인 개발을 API를 통해 접근하는데 관심이 있지만 곧 공개될 것 같지는 않음. 플러그인의 사용량을 봤을 때 브라우징을 제외하고 다른 플러그인은 프로덕트 마켓 핏(PMF - 시장이 원하는 것에 도달함을 의미하는 용어)에 도달하지 못했음. 많은 사람들이 자신의 앱이 ChatGPT 안에서 작동하기를 원하는 것 같지만 실제로는 ChatGPT가 자신의 앱에서 동작하는 것을 원하지 않을까라고 생각.
OpenAI는 고객과 경쟁할 생각이 없음.
많은 개발자들이 OpenAI API를 사용하여 제품을 개발하는 것에 우려를 포했는데 OpenAI가 경쟁 제품을 출시할 수 있기 때문이다. 샘 알트만은 ChatGPT외에는 다른 제품을 출시하지 않을 것이라고 밝혔다. ChatGPT의 비전은 일을 위한 초똑똑한 비서 (a super smart assistant for work)이다. 다른 여러 사용사례들이 존재할 수 있으며 OpenAI는 이를 터치하지 않을 것임.
규제는 필요하고 오픈 소스도 마찬가지이다.
미래 모델들에 대해 규제가 필요하다. 하지만 현재 모델들이 위험하다고 생각하지는 않는다. 이를 제한하거나 금지하는 것은 큰 실수 일것이다. 오픈소스는 중요하며 OpenAI는 GPT-3를 오픈 소싱하는 것을 고려했었음. 아직 오픈소스화 하지 않은 이유는 많은 개인이나 회사들이 큰 규모의 LLM을 서비스하거나 호스트하는데 제한이 있을것이라고 생각하기 때문이다.
스케일링 법칙은 아직 유효하다.
최근 많은 기사에서 AI 모델의 시대는 이미 끝났다라는 주장을 했지만 이는 현실을 정확하게 반영하는 말은 아님.
OpenAI의 내부 데이터는 모델을 더 크게 만들면 계속해서 성능을 낼 것이라는 것을 보여줌. 크기는 몇 배로 증가하기 보다는 매년 크기가 두 배 또는 세배가 될 가능성이 큼.
확장의 법칙이 계속 적용된다는 것은 AGI 개발 타임라인에 긍정적인 영향을 끼친다는 것을 의미함.
요약
오픈 AI는 현재 GPU 자원 때문에 제약을 받고 있다.
더 긴 32k 컨텍스트 윈도우(한 번에 입력할 수 있는 토큰 수)는 이 때문에 아직 많은 사람들에게 공개할 수 없음.
10만~1백만의 컨텍스트 윈도우는 올 해 안에 달성할 수 있을 것으로 예상.
파인튜닝 API는 개선될 것이고 커뮤니티 호스팅 모델의 마켓플레이스가 있을지도 모른다.
2023년의 최우선 순위는 저 더렴하고 빠른 GPT-4
멀티 모달은 2024년 지원 가능할 것으로 예상.
확장의 법칙은 아직 유효하며 이는 AGI 개발 타임 라인에 긍정적인 영향을 끼칠 것임. (확장의 법칙 : 모델과 데이터베이스의 크기가 커질 수록 성능이 좋아진다는 뜻) 다만 몇 배씩이나 성장하기 보다는 매년 두 배~세 배가 될 가능성이 큼.
