OpenAI o1 결과 ARC-AGI-Pub에서

제목: OpenAI o1 Results on ARC-AGI-Pub

모델 접근:

• OpenAI의 새로운 o1-preview와 o1-mini 모델 접근.
• CoT(Chain-of-Thought) 패러다임 사용.

훈련 및 테스트 시간 관리:

• O1은 훈련 및 테스트 시간 동안 중간 단계의 순서를 잘 표현하여 오류를 줄임.
• 새로운 강화 학습 알고리즘 및 데이터 효율을 활용.
• 많은 합성 CoT 데이터를 사용하여 사람의 추론 방식을 모방하여 훈련.

추론 시간 개선:

• CoT 추론을 비형식 언어로 적용.
• 테스트 시간 컴퓨팅으로 더 나은 일반화와 적응력 향상.

ARC-AGI 퍼포먼스:

• o1-preview와 o1-mini는 공개 평가 데이터셋에서 GPT-4o를 능가.
• 정확성 측면에서 Claude 3.5 Sonnet와 유사하지만 시간이 더 걸림.

시간 및 효율성:

• AI 시스템의 테스트 시간 컴퓨팅에 따라 정확도가 비례하여 증가.
• OpenAI는 개발자가 테스트 시간 컴퓨팅량을 설정하지 못하게 하여 비교 어려움.

ARC-AGI 공개 모델 비교:

• O1-preview는 높은 정확도를 보이지만, 시간 소요가 큼.
• 다양한 모델의 평가 점수 및 평균 시간 비교 제공.

AGI의 도달 여부:

• 컴퓨팅 증가에 따라 정확도가 증가하는 로그 선형 관계 발견.
• Ryan Greenblatt의 접근법과 유사한 결과 도출.

미래 연구 필요성:

• 새로운 아이디어 필요.
• AGI를 향한 새로운 접근법 필요.

참여 권장:

• ARC Prize에 참여하여 혁신적인 아이디어 공유.
• Kaggle 노트북을 통해 o1 모델 해킹 시도 권장.