Meta FAIR의 AI Research Preference Models(RPMs): 더 많이 실험하기보다 더 잘 선택하는 법

AI 연구 에이전트는 여러 아이디어와 코드를 빠르게 생성할 수 있지만, 모든 후보를 실제로 실행하기에는 계산 비용이 크다. Meta FAIR가 옥스퍼드대학교, UCL과 함께 제안한 AI Research Preference Models(RPMs)은 이 병목을 더 많은 실험이 아니라 실행할 실험을 더 정확히 선택하는 방식으로 해결한다.¹

RPMs는 실험의 실행 가치를 예측한다

RPMs는 여러 실험 후보를 모두 실행하지 않고, 가장 유망한 후보를 예측해 우선 실행하는 모델이다. AIRA-dojo의 검색 과정에서는 먼저 유망한 부모 노드를 고르고, 이를 바탕으로 15개의 자식 해법을 생성한다. RPMs는 후보를 일대일로 비교하는 토너먼트 녹아웃 방식으로 평가한 뒤 단 하나만 실행한다. 검색 트리는 선택된 후보의 실행 결과를 바탕으로 확장된다.¹

후보를 판단하는 방식은 두 가지다.

• 추론 전용 RPMs는 연구 계획, 코드, 이전 실행 결과를 함께 검토한다. 과제별로 별도 학습하지 않고, 가중치가 고정된 사전학습 언어 모델을 사용한다.

• 에이전트형 RPMs는 최종 선택 전에 소규모 파일럿 실험을 실행해 판단 근거를 보완할 수 있다.¹

두 방식 모두 후보 생성량을 늘리는 대신, 제한된 계산 예산을 어떤 실험에 배분할지 결정하는 데 초점을 둔다.

성능 향상의 핵심은 계산 예산 배분이다

20개 머신러닝 연구 과제로 구성된 AIRS-Bench에서 기본 AIRA-dojo의 평균 정규화 점수는 0.684였다.² 추론 전용 RPMs를 적용하면 점수가 0.711로 높아졌고, 파일럿 실험이 가능한 에이전트형 RPMs는 0.729를 기록했다. 이는 논문이 제시한 검증 오라클의 점수 상한인 0.748에 근접한 결과다.¹

연구진의 최고 성능 RPMs는 AIRS-Bench의 두 과제에서 새로운 최고 성능도 기록했다. 또한 기준선이 24시간 동안 얻은 결과를 약 15시간 만에 달성했다.¹ 즉, 개선의 핵심은 아이디어를 더 많이 만드는 것이 아니라 성과 가능성이 높은 후보에 계산 자원을 집중하는 데 있다.

실제 적용에서 확인할 기준

RPMs는 실험 비용은 크지만 후보 생성은 쉬운 환경에서 특히 유용하다. 다만 선택 모델이 잘못 판단하면 유망한 연구 방향이 실행되기 전에 탈락할 수 있다. 따라서 실제 적용에서는 다음을 함께 평가해야 한다.

• 동일한 성능에 도달하는 데 필요한 총 실행 시간과 계산 비용

• 선택된 후보와 탈락한 후보의 다양성

• 유망한 후보를 제외하는 선택 오류의 빈도

• 에이전트형 RPMs가 사용하는 파일럿 실험의 추가 비용

• 최종 성능 향상이 후보 선택 비용을 상쇄하는지 여부

요약: Meta FAIR의 AI Research Preference Models(RPMs)은 AI 연구 자동화의 초점을 아이디어 생성에서 계산 예산 배분으로 옮긴다. 앞으로의 경쟁력은 실험 후보를 얼마나 많이 만드는가뿐 아니라, 제한된 자원으로 무엇을 실행하고 무엇을 실행하지 않을지 얼마나 잘 판단하는가에 달릴 수 있다.

¹AI Research Preference Models

²📈 AIRS-Bench: a Suite of Tasks for Frontier AI Research Science Agents