구글 딥마인드의 Gemini = AlphaGo의 시스템 + 대형언어모델

딥마인드의 Demis Hassabis 가 현재 Gemini 라는 인공지능(Large Language Model)을 만들고 있다고 밝혔습니다. Gemini는 한글로 제머나이라고 발음하는 것 같네요.

AlphaGo 타입 시스템을 이용해서 계획과 문제 해결과 같은 새로운 능력을 가지고 있다고 합니다. 여기에 대형 모델의 언어 기능이 접목된 형태라고 합니다.

알파고는 강화학습에 기초합니다. 강화학습에서는 소프트웨어가 반복적으로 시도하고 피드백을 받음으로써 Go나 비디오 게임 같이 어떤 행동을 취할지 결정해야 하는 어려운 문제를 해결하는 방법을 배웁니다. 또한 알파고는 트리 검색이라는 방법을 사용하여 보드에서 가능한 수를 탐색하고 기억합니다. 이를 활용해서 언어 모델이 컴퓨터와 인터넷에서 더 많은 작업을 수행할 수 있는 능력을 갖출 수 있습니다.

알파고에서 사용된 Monte-Carlo Tree search 이미지 출처

Gemini는 아직 개발 중이고 수 개월이 걸릴 수 있다고 합니다. 이는 수 천만 또는 수 억 달러가 들 수 도 있다고 합니다. OpenAI의 CEO 샘 알트만이 밝힌 바에 따르면 GPT 4를 만드는데 1억 달러 이상이 들었다고 합니다.

이게 완성이 된다면 구글이 내놓는 ChatGPT에 대한 대답이 될 것이라고 합니다.

출처 : Google DeepMind CEO Demis Hassabis Says Its Next Algorithm Will Eclipse ChatGPT

강화학습이 결합된 LLM 이라니 참 궁금하군요. 수행 능력에서는 AutoGPT가 떠오르기도 하구요. 하지만 구글 딥마인드의 강화학습이 들어간다면 아마 새로운 유형의 LLM 이 될 것이라고 생각합니다.

이미지 출처 : 딥마인드 홈페이지