ChatGPT의 정의와 원리

ChatGPT 란 무엇인가?

ChatGPT는 OpenAI에서 개발한 인공지능 챗봇입니다. 2022년 11월 30일 등장해 전세계를 놀라게 했습니다. 그리고 짧은 시간 안에 월 16억 뷰(2023년 6월 기준)의 놀라운 킬러 앱으로 성장했습니다. 2023년 11월 기준 주간 활성 사용자가 1억명이라는 어마어마한 기록을 세우고 있습니다.

저는 OpenAI의 CEO 샘 올트먼 (Sam Altman) 의 트윗으로 ChatGPT의 시작을 알게 되었습니다. 처음 사용해 봤을 때 개념을 이해하지 못했지만 다음날 엄청난 변화가 일어날 것임을 알게 되었습니다. 인터넷이 온통 ChatGPT에 대한 이야기로 난리가 났기 때문이에요.

이렇게 간단한 트윗과 함께 ChatGPT가 시작되었습니다. (소개 한 줄과 링크 하나...)

사실 샘 올트먼도 이렇게 잘될 줄은 몰랐다고 합니다. 일단 3.5를 출시하고 사용자의 피드백을 받아 발전시키려고 했다고 합니다. GPT-4에서 터질 줄 알았는데 GPT-3.5에서 터진 것이죠.

ChatGPT는 자체 개발한 LLM (Large Language Model) 인 GPT-3.5 모델을 기반으로 하고 있습니다. GPT-3.5는 1,750(175B)억개의 파라미터를 가지고 있습니다. 그리고 현재 ChatGPT 플러스 유료 구독자에게는 GPT-4 모델을 월 20달러 (부가세 포함 22달러) 에 제공하고 있습니다. ChatGPT의 일반 버전(GPT-3.5)은 누구나 무료로 회원 가입 후 사용할 수 있습니다.

LLM (대형 언어 모델) 은 수 많은 파라미터를 가진 언어를 이해하고 생성하는 인공 신경망입니다. 핵심 원리는 하나의 글자(토큰)이 주어졌을 때 다음 글자를 예측하는 방식입니다.

이미지 : 인공신경망 (Artificial neural network)의 모습

그렇다면 LLM은 어떻게 훈련 (Training) 될까요? 먼저 텍스트를 특정한 단위로 잘라 결과 부분을 가리고 맞추는 과정을 진행합니다. (이 단위는 나중에 context limit에 영향을 줍니다.)

예를 들어 나는 아침에 일어나 커피를 마셨다라는 문장이 있다면 나는 아침에라는 텍스트를 입력값으로 놓고 답을 맞춥니다. 처음에는 틀리겠죠. 그 다음 출력값에 답(커피를 마셨다.)을 보여주고 이에 맞게 모델의 가중치 (Weights) 를 조정합니다.

이러한 과정을 무수히 반복하여 하나의 인공지능 모델을 만들어 낼 수 있습니다.

ChatGPT는 1750억개의 항(파라미터)을 가진 거대한 식입니다. 이 인공지능 모델은 어떤 텍스트를 입력하면 그 다음 텍스트가 무엇인지를 예측할 수 있습니다. '텍스트의 패턴'을 학습한 AI의 등장입니다.

[1] : 트래픽 출처 시밀라 웹