새로운 연구가 LLM 'Reasoning Collapse'에 관한 Apple의 발견에 도전합니다.
- 제목: "Apple의 발견을 LLM '추론 붕괴'에 대한 새로운 연구가 도전하다"
- Apple의 AI 연구 논문 "사고의 환상"은 복잡한 작업에서 대규모 추론 모델(LRMs)이 붕괴된다는 결론을 내렸음.
- Open Philanthropy의 연구원 Alex Lawsen이 Apple 논문에 대한 반박 논문 발표.
- Lawsen은 Apple의 발견이 실험 설계 결함에 기초한다고 주장.
- Apple의 해석에서 토큰 예산 제한 무시됨.
- 불가능한 퍼즐이 실패로 간주됨.
- 평가 스크립트가 추론 실패와 출력 절단을 구분하지 않았음.
- Lawsen은 다른 형식으로 기존 테스트를 재실행하여 모델들이 알고리즘적으로 올바른 해결책을 출력할 수 있음을 보여줌.
- Apple의 연구가 LLM의 확장 가능한 추론 능력을 결여한다고 널리 인용되었지만, 더 복잡한 진실이 있음.
- Lawsen의 결론: 인공 출력 확장을 제거하면, LRMs은 고난이도 작업에 대한 추론이 가능함.
- 미래 연구를 위한 제안: 추론 능력과 출력 제한을 구분하는 평가, 퍼즐 해결 가능성 확인, 복잡성 메트릭 검토.
- 문제는 LRMs의 추론 가능성 여부가 아니라, 평가가 추론과 입력을 구분할 수 있는지 여부.
39to5mac.com링크 복사하기
AI 뉴스 요약은 뉴스의 내용을 AI가 요약(GPT-4 활용)한 것입니다. 따라서 틀린 내용을 포함할 수 있습니다. 뉴스의 자세한 내용을 확인하시려면 해당 뉴스 링크를 클릭해주세요.