Agi 에 대하여 그리고 Q*

나는 agi가 현재 경사 하강법을 통한 최적화 기법으로는 나올 수 없다고 본다.

agi가 나오려면 원리를 학습하고 이를 적용할 수 있어야 하는데 지금의 llm은 모든 상관 관계를 암기한 머신에 가깝다. (그래서 llm은 수학을 못한다.)

만약 agi가 가능해지려면 유연한 강화학습에 의해 실시간 학습이 가능해져야 하지 않을까?

sam이 해고되기 전에 openai에서 AI 관련 진보를 이루었다는 소문이 있다. Q * (Q star) 로 초등학교 수준의 수학 학습이 가능했다고 한다. 이게 뭔지는 드러나지 않았지만 트위터 등에서 추측하기로 Q-learning 과 A-Star 테크닉의 혼합체라고 한다. 이게 샘의 해고에 영향을 끼치지 않았나 하는 루머도 있다.

일론 머스크가 말하는 본질을 이해하는 AI도 이와 비슷한 맥락이다. 원리를 이해하는 인공지능이라면 agi에 가장 가까울 것이다.

솔직히 이게 언제 올지는 모르겠다. 빠르게는 10년 내에서 수 십년 이내라고 보는 사람들이 많다.

나는 솔직히 agi 자체가 필요한지 모르겠다. 굳이 자가적으로 사고할 필요가 있을까?

사람들이 하는 일을 충분히 대신할 수 있을 정도면 되지 않을까?

내가 보기에는 agi는 하나의 스토리이고 그걸 통해 ai의 발전을 꾀하고 있는 것 같다. 두려움은 행동력의 원천이고 비전은 앞으로 나아가게 한다.

일리야 서츠케버가 했던 말이 기억에 남는다. 기술의 진보를 가능하게 하는 것은 믿음이라고. 믿는 만큼 발전할 수 있다고.

어쩌면 우리는 신념의 영역에 도달하고 있는 것이 아닐까. 이 모든 양상은 나에게 그렇게 읽힌다.

우린 참 흥미로운 시대에 살고 있다.