gpt4는 생각보다 뛰어난 제품인것 같다.

gpt4를 사용한 지 한 달 정도 되어간다.

gpt4로 간단한 코딩을 하고, 코딩을 할 때 무슨 의미인지 물어보는 용도로 많이 활용한다. 특히 처음보는 코드를 대할 때 많이 사용한다.

느리지만 그래도 여태까지 LLM 중 가장 정확한 추론을 보여준다. semafor라는 매체에 따르면 파라미터가 1조개가 맞다고 하는데 정확하게는 모르겠다.

사용을 하면 할 수록 놀랍다.

chatgpt를 단순히 말을 하거나 다음 문장을 예측하는 걸로만 이해하면 조금 아쉽다.

하지만 gpt4가 수 많은 논리의 상관관계를 모두 외워서 작동하는 논리 머신이라는 것을 알게 되면 사용 가능성은 정말 많아진다.

즉 논리가 필요할 때 넣으면 논리가 나오는 것이다. 요약의 논리, 코딩의 논리, 이 문서에서 어떤 기능을 사용하는 논리, 블로그 글을 쓰는 논리, 번역하는 논리 등을 얻을 수 있다. 이러한 논리를 무수히 가지고 있는 잠재적인 영역 (latent space)에서 추론을 진행한다.

예를 들어 법전을 통째로 암기하고 있다가 내가 어떤 조항에 대해 궁금하다고 하면 그 조항과 연결된 다른 조항까지 이어서 쭈르륵 말할 수 있는 머신이 있다고 생각해 보자. 그런데 중간에 이것과 비슷하면서 연관된 개념이 있다면 해당 개념을 연결해서 말을 해준다. (이런걸 생각한다고 말할 수 있을까?)

이 모든 암기한 상관 관계가 마치 인과 관계를 알고 있는 것처럼 착각이 되기도 하지만 gpt는 원리나 절대적인 인과 관계에 의해서 동작하는 것은 아니다. (물론 광범위한 상관관계가 인과관계와 차이가 없다고 말하면 솔직히 할 말은 없다.) 딥러닝에 의해 만들어진 수 많은 수식에 의한 거대 모델의 블랙박스를 정교하게 조작할 수 도 없다. 그리고 앞으로 파라미터의 개수가 커질 수록 할루시네이션이 발생할 문제도 있다고 한다. (아마 너무 많은 요소가 들어갔을 때 잠재 공간에서 뭔가 혼선이 일어나는듯?) 내가 봤을 때도 아직 한계는 많다. AGI에 도달하려면 많은 부분에서 혁신이 일어나야 할 것 같다.

그래도 지금의 gpt-4의 추론 능력은 최고인것 같다. 이어 말하기나 검색 엔진을 넘어서 초기 단계의 추론 엔진으로 생각을 한다면 사용할 수 있는 범위는 더 넓어질 것 같다. 솔직히 쓰면 쓸 수록 놀라움의 연속이다. 지금 다른 LLM이 gpt4를 따라잡기에는 시간 격차가 있지 않나 생각해 본다.

참고로 gpt4가 어느 정도 스스로 학습이 가능하다고 생각하는 사람도 있다. 그리고 gpt4를 활용해 코딩을 하고 테스트를 하고 수정을 하는 프로그램을 구현하는 사람도 있다.