검색
검색
공개 노트 검색
회원가입로그인

google의 LLM (Large Language Model) PaLM - 5400억개 파라미터를 가진 인공지능 모델

page thumbnail

google의 대형 언어 모델 Pathways Language Model (PaLM)

google의 대형 언어 모델인 palm은 5400억개 파라미터를 가진 모델이다.

최근 gpt-3와 같은 LLM에서 fewshot learning 같은 분야가 성공을 했는데 구글의 passways도 공통된 모델을 기반으로 퓨샷 러닝이 가능한 모델을 노리는 것 같다. 최근 인공 지능에서 대량으로 학습한 모델에서 배운 로직들이 다른 데이터셋에서도 적은 학습으로 작동이 가능하다는 것을 발견했다. (ㅎㄷㄷ)

퓨샷 러닝 (fewshot learning ) : 대형모델로 학습된 모델(Pre-trained)을 활용해서 적은 데이터로 학습이 가능한 것. 예를 들어 사과와 배를 구분하는 대형 모델에서 적은 양의 수박과 참외 사진을 주면 구분할 수 있다.

구글에서 말하는 pathways 의 정의 : 하나의 모델로 수백만가지의 일을 처리할 수 있는 모델.

병렬 처리 시스템과 분산 컴퓨팅 인프라를 활용해 이렇게 엄청나게 많은 파라미터를 학습시킬 수 있었다고 한다.

산수 문제 처럼 정확한 산술을 요구하는 문제의 경우 인공지능이 정답을 못 맞추는 경우가 많았는데 chain of thought prompting을 통해 단계적으로 추론할 수 있게 하여 정답률을 높였다고 한다.

Screenshot 2022-04-01 5

노란색 부분으로 중간 단계를 넣어 정답률을 높였다!

대형언어모델 파라미터 개수

gpt-3PaLM하이퍼클로바koGPTgpt-4
1750억개5400억개2040억개60억개1조개?? (확인된 사실은 아님)

물론 파라미터 개수가 많다고 무조건 좋은건 아니겠지만 그래도 주목이 된다. 파라미터 개수가 많은 모델을 초거대 AI 라고 부르기도 한다. LG 연구원에서 만든 용어라고 한다.

llm

출처 : Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance

파라미터가 5400억개가 되면 무엇을 할 수 있을까?

질문에 대답하기, 수학, 일반 지식, 요약, 논리적 추론, 패턴 인식, 번역, 대화, 언어 이해 등을 할 수 있다.

요즘 돌아가는걸 보면 LLM이 새로운 구글이나 애플이 될 가능성이 큰 것 같다. 마이크로소프트가 OpenAI를 살려고 뒤에서 정말 수십 조 단위의 돈이 오가는걸 보면 왠지 좀 씁쓸하다. 구글이 LLM 시장에 어떻게 뛰어들까? 폐쇄형일까 오픈형일까? 한국의 IT 기업들은 어떻게 대응할까? 앞으로가 참 궁금하다. 무언가 바람이 불고 있다.

조회수 : 1327
heart
공유하기
카카오로 공유하기
페이스북 공유하기
트위터로 공유하기
url 복사하기
T
페이지 기반 대답
AI Chat