gpt4는 생각보다 뛰어난 제품인것 같다.

gpt4를 사용한 지 한 달 정도 되어간다.

gpt4로 간단한 코딩을 하고, 코딩을 할 때 무슨 의미인지 물어보는 용도로 많이 활용한다. 특히 처음보는 코드를 대할 때 많이 사용한다.

느리지만 그래도 여태까지 LLM 중 가장 정확한 추론을 보여준다. semafor라는 매체에 따르면 파라미터가 1조개가 맞다고 하는데 정확하게는 모르겠다.

사용을 하면 할 수록 놀랍다.

chatgpt를 단순히 말을 하거나 다음 문장을 예측하는 걸로만 이해하면 조금 아쉽다.

하지만 gpt4가 수 많은 논리의 상관관계를 모두 외워서 작동하는 논리 머신이라는 것을 알게 되면 사용 가능성은 정말 많아진다.

즉 논리가 필요할 때 넣으면 논리가 나오는 것이다. 요약의 논리, 코딩의 논리, 이 문서에서 어떤 기능을 사용하는 논리, 블로그 글을 쓰는 논리, 번역하는 논리 등을 얻을 수 있다. 이러한 논리를 무수히 가지고 있는 잠재적인 영역 (latent space)에서 추론을 진행한다.

예를 들어 법전을 통째로 암기하고 있다가 내가 어떤 조항에 대해 궁금하다고 하면 그 조항과 연결된 다른 조항까지 이어서 쭈르륵 말할 수 있는 머신이 있다고 생각해 보자. 그런데 중간에 이것과 비슷하면서 연관된 개념이 있다면 해당 개념을 연결해서 말을 해준다. (이런걸 생각한다고 말할 수 있을까?)

이 모든 암기한 상관 관계가 마치 인과 관계를 알고 있는 것처럼 착각이 되기도 하지만 gpt는 원리나 절대적인 인과 관계에 의해서 동작하는 것은 아니다. (물론 광범위한 상관관계가 인과관계와 차이가 없다고 말하면 솔직히 할 말은 없다.) 딥러닝에 의해 만들어진 수 많은 수식에 의한 거대 모델의 블랙박스를 정교하게 조작할 수 도 없다. 그리고 앞으로 파라미터의 개수가 커질 수록 할루시네이션이 발생할 문제도 있다고 한다. (아마 너무 많은 요소가 들어갔을 때 잠재 공간에서 뭔가 혼선이 일어나는듯?) 내가 봤을 때도 아직 한계는 많다. AGI에 도달하려면 많은 부분에서 혁신이 일어나야 할 것 같다.

그래도 지금의 gpt-4의 추론 능력은 최고인것 같다. 이어 말하기나 검색 엔진을 넘어서 초기 단계의 추론 엔진으로 생각을 한다면 사용할 수 있는 범위는 더 넓어질 것 같다. 솔직히 쓰면 쓸 수록 놀라움의 연속이다. 지금 다른 LLM이 gpt4를 따라잡기에는 시간 격차가 있지 않나 생각해 본다.