ChatGPT란?

GPT를 채팅 형식으로 사용할 수 있게 만든 인공지능 챗봇.

GPT는 Gernerative Pretrained Transformer의 약자로 OpenAI에서 만든 거대 언어 모델 (Large Language Model, LLM)을 의미한다.

Gernerative는 생성의 뜻으로 다음 토큰을 예측하여 텍스트를 생성할 수 있다는 것을 의미한다.

Pretrained 는 미리 많은 양의 텍스트를 기반으로 트레이닝이 됐다는 것을 의미한다. 여기서 인공지능은 거대한 문장 간의 상관 관계를 무수히 많은 파라미터를 통해 암기하게 된다. 이 모델에 따라 어떤 텍스트를 입력하면 다음 텍스트가 뭐가 나올지 확률적으로 예측하여 표시하는 원리이다. 즉 확률적 추론(probabilistic reasoning)에 의한 예측이 핵심이다.

Transformer는 머신러닝을 병렬로 한번에 처리할 수 있는 기술이다. 이를 바탕으로 방대한 양의 텍스트를 학습할 수 있었고, 높은 성능으로 높은 추론 능력을 가지게 되었다.

이런 GPT를 채팅 형식으로 사용할 수 있게 만들어 놓은 것이 ChatGPT이다.

최초에 Pretrained model이 나온다.

이를 사람이 선별한 instruction 예시를 바탕으로 파인 튜닝을 한다.

이 파인 튜닝 모델이 생성한 답변에 사람이 무엇이 더 좋은 답변인지 랭킹을 매긴다. 이를 통해 무엇이 더 좋은 답변인지 reward model을 학습한다.

이 파인 튜닝 모델 + reward model이 결합된 형태로 강화 학습을 시킨다.

이렇게 ChatGPT가 만들어 진다. 이렇게 사람이 적은 양의 데이터셋으로 개입하는 것을 Reinforcement Leaning from Human Feedback (RLHF) 이라고 한다. 이게 ChatGPT를 다른 GPT 모델들과 차별점을 만들어 냈다.

사람이 무엇을 좋아하는지를 학습한 GPT 모델이 ChatGPT 이다.

여기에 채팅 형태로 커뮤니케이션 하기 쉽게 인터페이스를 붙였다.

2022년 11월 30일 공개됐다. 2개월 만에 1억명의 월간 사용자가 사용한 경이로운 기록을 세웠다.

공식 사이트 주소 : https://chat.openai.com/chat