알파지오메트리 - 딥마인드의 기하학 문제를 푸는 AI 모델이 중요한 이유
딥마인드의 AlphaGeometry 는 기하학 문제를 푸는 인공지능입니다. 수학에서 AI 추론의 발전을 보여주는 사례입니다.
딥마인드가 Nature에 발간한 논문에 의하면 국제 수학 올림피아드의 기하학 문제를 30개 중 25개를 맞췄다고 합니다. 이전 최고 모델은 10개를 맞췄고 사람 금메달리스트는 평균 25.9개의 문제를 맟췄습니다.
기존 AI는 수학과 기하학 문제를 푸는데 어려움을 겪었는데 이번에 추론 기술과 훈련 데이터를 향상시켰다고 합니다. AlphaGeomeetry 시스템은 LLM의 힘과 규칙 기반의 추론 엔진(a rule-bound deduction engine,)의 힘을 합쳤습니다. 이를 통해 복잡한 기하학 문제도 해결할 수 있습니다.
또한 이 팀은 인간의 시연 없이 훈련 데이터를 1억개 이상 생성할 수 있는 방법도 개발했다고 합니다.
AI의 추론 능력과 새로운 지식을 발견하고 검증하는 능력을 보여준 사례입니다.
오픈소스로 모델과 코드를 공개했습니다. GitHub - google-deepmind/alphageometry
LLM+기호 추론 엔진
AlphaGeometry 는 LLM과 기호추론엔진 (a symbolic deduction engine)으로 이루어져 있습니다. 기호 추론 엔진이 느리지만 정형화된 논리적인 사고를 하고 LLM이 빠르고 다양한 사고를 할 수 있습니다.
위의 그림은 실제 알파 지오메트리가 문제를 푸는 방법을 보여준 것입니다. (ChatGPT에게 해당 문단을 쉽게 설명해줘라고 요청했습니다.)
AlphaGeometry가 간단한 문제를 해결하는 방법을 쉽게 설명하자면:
문제 다이어그램과 정리 전제가 주어집니다 (왼쪽).
AlphaGeometry는 먼저 기호 엔진을 사용하여 다이어그램에 대한 새로운 진술을 추론합니다.
해결책을 찾거나 더 이상 새로운 진술이 없을 때까지 계속합니다.
해결책이 나오지 않으면, AlphaGeometry의 언어 모델이 유용할 수 있는 새로운 구성 요소(파란색)를 추가합니다. 이것은 기호 엔진에 대한 새로운 추론 경로를 엽니다.
해결책을 찾을 때까지 이 과정이 반복됩니다 (오른쪽).
이 예시에서는 하나의 구성 요소만 필요합니다.
간단히 말해, AlphaGeometry는 문제를 해결하기 위해 먼저 기존 정보를 기반으로 추론하고, 필요할 경우 새로운 요소를 추가하여 더 많은 추론을 가능하게 합니다. 이 과정을 통해 문제의 해결책을 찾습니다.
이걸 통해 어떤 복잡한 문제라도 해결하는 것입니다.
1억개의 합성 데이터 생성하기
이들은 어떻게 훈련 데이터를 인간의 개입없이 만들었을까요? 먼저 10억 개의 기하학 다이어그램을 만든 후 각각의 관계(relationships)와 증명(proofs)을 찾습니다. 그리고 여기에서 너무 비슷한 예시를 제거하여 1억 개의 유니크한 훈련 데이터셋을 만든 것입니다.
출처 : AlphaGeometry: An Olympiad-level AI system for geometry
생각
인공지능이 기본 원리를 바탕으로 사고하지는 못한다고 이야기한 적이 있다. Agi 에 대하여 그리고 Q* 현재 인공지능은 최적화에 의한 문제 해결을 하고 있기 때문이다.
이 논문이 중요한 이유는 인공지능이 규칙 기반의 사고를 할 수 있다는 것에 있다. 그리고 놀랍게도 해결책이 없을 때 LLM을 통해서 검색을 해서 새로운 방법을 찾아나간다. (시행착오와 일종의 메타 사고가 아닐까?)
훈련 데이터를 생성하는 것도 딥마인드 다운데 랜덤 데이터로 새로운 게임들을 만든 후 여기에서 패턴을 추출한다.
여기에서 미래의 단상을 잠깐 볼 수 있다. 이게 언제 올지는 모르겠지만 다음과 같다.
패턴화된 일은 모두 AI가 수행할 수 있다.
AI가 LLM 등을 활용한 검색을 통해 해결할 수 있는 일의 범위가 매우 넓어진다.
예를 들어서 내가 예시를 몇 개 보여주면 해당 일을 수행할 수 있게 작은 인공지능 모델을 주는 프레임워크가 나올 수 있다.
여기에서 메타 사고가 가능해지는 AI가 나온다면 일반 인공지능 (AGI) 가 올지도 모르겠다는 생각이 든다. 앤드류 응 교수님은 이게 몇 십년이 걸릴 수 도 있다고 하고 비교적 빨리 나온다고 이야기하는 사람도 있다.
AGI까지 가면 이야기가 너무 커지니 '향상된 추론 능력'을 가진 AI가 나오고 있다는 것에 주목해 보자.
