google의 LLM (Large Language Model) PaLM - 5400억개 파라미터를 가진 인공지능 모델

google의 대형 언어 모델 Pathways Language Model (PaLM)

google의 대형 언어 모델인 palm은 5400억개 파라미터를 가진 모델이다.

최근 gpt-3와 같은 LLM에서 fewshot learning 같은 분야가 성공을 했는데 구글의 passways도 공통된 모델을 기반으로 퓨샷 러닝이 가능한 모델을 노리는 것 같다. 최근 인공 지능에서 대량으로 학습한 모델에서 배운 로직들이 다른 데이터셋에서도 적은 학습으로 작동이 가능하다는 것을 발견했다. (ㅎㄷㄷ)

퓨샷 러닝 (fewshot learning ) : 대형모델로 학습된 모델(Pre-trained)을 활용해서 적은 데이터로 학습이 가능한 것. 예를 들어 사과와 배를 구분하는 대형 모델에서 적은 양의 수박과 참외 사진을 주면 구분할 수 있다.

구글에서 말하는 pathways 의 정의 : 하나의 모델로 수백만가지의 일을 처리할 수 있는 모델.

병렬 처리 시스템과 분산 컴퓨팅 인프라를 활용해 이렇게 엄청나게 많은 파라미터를 학습시킬 수 있었다고 한다.

산수 문제 처럼 정확한 산술을 요구하는 문제의 경우 인공지능이 정답을 못 맞추는 경우가 많았는데 chain of thought prompting을 통해 단계적으로 추론할 수 있게 하여 정답률을 높였다고 한다.

노란색 부분으로 중간 단계를 넣어 정답률을 높였다!

대형언어모델 파라미터 개수

물론 파라미터 개수가 많다고 무조건 좋은건 아니겠지만 그래도 주목이 된다. 파라미터 개수가 많은 모델을 초거대 AI 라고 부르기도 한다. LG 연구원에서 만든 용어라고 한다.

출처 : Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance

파라미터가 5400억개가 되면 무엇을 할 수 있을까?

질문에 대답하기, 수학, 일반 지식, 요약, 논리적 추론, 패턴 인식, 번역, 대화, 언어 이해 등을 할 수 있다.

요즘 돌아가는걸 보면 LLM이 새로운 구글이나 애플이 될 가능성이 큰 것 같다. 마이크로소프트가 OpenAI를 살려고 뒤에서 정말 수십 조 단위의 돈이 오가는걸 보면 왠지 좀 씁쓸하다. 구글이 LLM 시장에 어떻게 뛰어들까? 폐쇄형일까 오픈형일까? 한국의 IT 기업들은 어떻게 대응할까? 앞으로가 참 궁금하다. 무언가 바람이 불고 있다.