Inherent Faraday가 제시한 AI 과학자의 평가 기준
AI 과학자의 가치는 논문을 요약하는 능력보다 제한된 자원 안에서 실험을 설계하고 결과를 검증하는 능력에 달려 있다. DeepMind 출신 인사들이 설립한 런던 소재 AI 연구소 Inherent가 공개한 Inherent Faraday는 이 기준에 초점을 맞춘 과학 논문 재현 에이전트다.
보이지 않는 원본 결과를 재현한다
Inherent Faraday의 목표는 과학 논문의 연구 결과를 독립적으로 재현하는 것이다. 학습 환경인 ‘Replica’에서는 논문에 수록된 그림 하나를 제한된 시간과 연산 예산 안에서 다시 만들어야 한다. 에이전트는 원본 논문의 실제 플롯을 볼 수 없으므로 단순히 코드를 작성하는 데 그치지 않고, 가설을 세우고 실험을 수정하며 결과를 해석해야 한다.1
초기 Replica 평가군은 머신러닝 및 AI 기반 과학 논문 100편에서 추출한 310개 과제로 구성됐다. 평가 분야에는 자연어 처리, 재료과학, 기상 예측 등이 포함됐다.1
이러한 과제를 학습하기 위해 Inherent는 코딩 에이전트를 도구로 활용하는 장기 지평 강화학습을 적용했다. 핵심은 한 번의 응답으로 정답을 생성하는 것이 아니라, 여러 단계의 시행착오를 거치며 다음 실험을 선택하도록 훈련하는 데 있다.1
성능보다 중요한 것은 평가의 의미다
Inherent는 비교 평가에서 Inherent Faraday가 Claude Code 환경의 Claude Opus 4.8과 Codex 환경의 GPT-5.5보다 높은 논문 재현 성능을 보였다고 밝혔다. 비교 모델의 추론 노력은 ‘extra high’로 설정됐으며, 성능 격차는 메타러닝, 구조생물학, 재료과학 분야에서 특히 크게 나타났다.1
Inherent Faraday는 270억 개 매개변수를 가진 Qwen 3.6 모델을 기반으로 실행된다. 이 결과를 단순한 모델 크기 경쟁으로 해석하기 어려운 이유다. 중요한 것은 코드를 직접 생성하는 능력만이 아니라, 코딩 도구에 어떤 실험을 맡기고 결과에 따라 다음 단계를 어떻게 조정하는지다.
평가 기준 역시 플롯의 시각적 유사성에 한정되지 않았다. Inherent는 다음 요소를 재현 품질에 포함했다.1
실험 설계의 적절성
과학적 관행의 준수
원 논문 주장에 대한 충실성
시간과 연산 자원의 활용도
따라서 이 평가는 결과 이미지가 얼마나 비슷한지를 넘어, 에이전트가 연구 과정을 얼마나 타당하게 수행했는지를 측정하려는 시도에 가깝다.
결과를 해석할 때 필요한 주의점
이번 성능은 Inherent가 설계하고 공개한 평가를 바탕으로 한다. 독립적인 검증과 실제 연구 환경에서의 반복 실험이 추가로 필요하다. 또한 기존 논문의 결과를 재현하는 능력이 새로운 과학적 발견을 만들어내는 능력과 같다고 볼 수는 없다.
그럼에도 Inherent Faraday는 AI 과학자를 판단할 실용적인 기준을 제시한다. 앞으로는 모델 크기나 코드 생성 성능만이 아니라 다음 역량을 함께 살펴봐야 한다.
검증 가능한 가설을 세우는가
제한된 자원 안에서 실험을 설계하는가
외부 도구를 적절히 지휘하는가
실패한 결과를 해석해 다음 실험을 선택하는가
원 논문의 주장과 과학적 절차를 충실히 따르는가
요약: Inherent Faraday의 의미는 코딩 모델을 대체하는 데 있지 않다. 코딩 도구 위에서 실험을 설계하고 결과를 판단하는 AI 과학자 계층의 가능성을 보여준 데 있다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.