LLM이 물리 문제를 잘 푼다고 해서 곧바로 “과학을 이해한다”고 말하기는 어렵습니다. 이미 확립된 법칙과 익숙한 문제 유형을 학습했다면, 그럴듯한 답은 추론보다 기억에 가까울 수 있기 때문입니다.
DiscoverPhysics는 바로 이 지점을 겨냥한 벤치마크입니다. LLM 에이전트를 실제 물리와 의도적으로 다른 법칙이 지배하는 시뮬레이션 세계에 넣고, 스스로 실험하고 분석해 운동 법칙을 발견하도록 요구합니다.1
무엇을 평가하는 벤치마크인가
DiscoverPhysics의 핵심은 “물리 지식을 얼마나 많이 알고 있는가”가 아닙니다. 낯선 세계에서 관측을 통해 가설을 세우고, 그 가설을 다시 실험으로 고쳐 나갈 수 있는지를 봅니다.
벤치마크는 총 22개의 시뮬레이션 세계로 구성됩니다. 여기에는 차폐 중력, 분수 거듭제곱 중력, 다중 종 결합, 숨겨진 암흑물질 유사 입자, 좌표계에 의존하는 물리, 시간에 따라 변하는 상호작용 등이 포함됩니다.1
각 세계는 요청 시 N-body 시뮬레이터가 생성합니다. 에이전트는 여러 차례 실험을 제안하고, 그 결과로 나온 원시 궤적 데이터를 관찰합니다. 마지막에는 해당 세계의 물리를 자연어로 설명하고, 추론한 법칙을 Python 구현으로 제출해야 합니다.1
왜 “발견 능력”을 보기 어렵나
기존 벤치마크에서는 모델이 정답을 맞혀도 그 이유를 판단하기 어렵습니다. 모델이 실제로 문제를 풀었는지, 아니면 학습 중 접한 공식과 풀이 패턴을 재사용했는지 구분하기 힘듭니다.
DiscoverPhysics는 이 문제를 줄이기 위해 현실의 물리 법칙과 다른 세계를 사용합니다. 익숙한 공식을 그대로 적용하면 오히려 틀릴 수 있습니다. 따라서 에이전트는 관측된 궤적에서 단서를 찾고, 어떤 실험이 더 많은 정보를 줄지 선택해야 합니다.
이 과정에서 중요한 능력은 세 가지입니다.
정보성 있는 실험을 설계하는 능력
아무 실험이나 많이 하는 것이 아니라, 가설을 구분할 수 있는 실험을 고르는 것이 중요합니다.관측 결과에 따라 가설을 수정하는 능력
처음 세운 설명이 데이터와 맞지 않으면, 이전 실험 이력을 바탕으로 가설을 조정해야 합니다.최종 설명을 실행 가능한 형태로 정리하는 능력
자연어 설명만으로는 부족합니다. DiscoverPhysics는 추론한 법칙을 Python 코드로도 제출하게 해, 설명이 실제 계산으로 이어지는지 확인합니다.1
과학용 AI를 볼 때 달라지는 기준
DiscoverPhysics가 보여주는 가장 실용적인 메시지는 단순합니다. 과학용 AI를 평가할 때는 “정답을 말하는가”보다 “발견 과정을 수행할 수 있는가”를 봐야 합니다.
특히 연구 보조 에이전트를 판단할 때는 다음 질문이 중요해집니다.
모델이 스스로 실험을 제안할 수 있는가?
관측 데이터를 보고 기존 가설을 버리거나 수정할 수 있는가?
여러 번의 실험 이력을 장기적으로 활용할 수 있는가?
최종 주장을 자연어 설명과 실행 가능한 코드로 함께 제시할 수 있는가?
DiscoverPhysics는 LLM 평가의 초점을 지식 시험에서 발견 과정으로 옮깁니다. AI가 연구 보조자를 넘어 과학적 발견의 동료가 되려면, 익숙한 지식을 재현하는 능력만으로는 부족합니다. 낯선 조건에서 실험을 설계하고, 데이터를 해석하며, 검증 가능한 법칙으로 정리하는 장기 추론 능력이 필요합니다.
1DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.