ChatGPT의 정의와 원리

ChatGPT 란 무엇인가?

ChatGPT는 OpenAI에서 개발한 인공지능 챗봇입니다. 2022년 11월 30일 등장해 전세계를 놀라게 했습니다. 그리고 짧은 시간 안에 월 16억 뷰(2023년 6월 기준)의 놀라운 킬러 앱으로 성장했습니다. [1]

저는 OpenAI의 CEO 샘 올트먼 (Sam Altman) 의 트윗으로 ChatGPT의 시작을 알게 되었습니다. 처음 사용해 봤을 때 개념을 이해하지 못했지만 다음날 엄청난 변화가 일어날 것임을 알게 되었습니다. 인터넷이 온통 ChatGPT에 대한 이야기를 하고 있었기 때문입니다.

이렇게 간단한 트윗과 함께 ChatGPT가 시작되었습니다.

ChatGPT는 자체 개발한 LLM (Large Language Model) 인 GPT-3.5 모델을 기반으로 하고 있습니다. GPT-3.5는 1,750억개의 파라미터를 가지고 있습니다. 그리고 현재 ChatGPT 플러스 유료 구독자에게는 GPT-4 모델을 월 20달러 (부가세 포함 22달러) 에 제공하고 있습니다. ChatGPT의 일반 버전(GPT-3.5)은 누구나 무료로 회원 가입 후 사용할 수 있습니다.

여기서 LLM (대형 언어 모델) 은 수 많은 파라미터를 가진 언어를 이해하고 생성하는 인공 신경망입니다. 핵심 원리는 하나의 글자(토큰)이 주어졌을 때 다음 글자를 예측하는 방식입니다.

이미지 : 인공신경망 (Artificial neural network)의 모습

그렇다면 LLM은 어떻게 훈련 (Training) 될까요? 먼저 텍스트를 특정한 단위로 잘라 결과 부분을 가리고 맞추는 과정을 진행합니다. (이 단위는 나중에 context limit이 됩니다.) 이 과정에서 맞는 결과가 나올 때까지 모델의 가중치 (Weights) 를 조정합니다. 이러한 과정을 무수히 반복하여 하나의 인공지능 모델을 만들어 낼 수 있습니다. 예를 들어 ChatGPT는 1750억개의 항을 가진 거대한 식입니다. 이 인공지능 모델은 어떤 텍스트를 입력하면 그 다음 텍스트가 무엇인지를 예측할 수 있습니다. '텍스트의 패턴'을 학습한 AI의 등장입니다.

[1] : 트래픽 출처 시밀라 웹