AI가 논문을 요약하고 실험 설계를 돕는 일은 이제 낯설지 않습니다. 그렇다면 다음 질문은 더 까다롭습니다. AI는 이미 알려진 지식을 잘 정리하는 것을 넘어, 실제로 일어날 과학 발전을 예측할 수 있을까요.
CUSP Dataset은 이 질문을 평가하기 위해 제안된 벤치마크입니다. 핵심은 모델에게 모든 정보를 주는 것이 아니라, 특정 시점 이전에 이용 가능했던 지식만 보게 한 뒤 그 이후의 과학적 진전을 예측하게 한다는 점입니다.
CUSP는 무엇을 평가하는가
CUSP의 정식 명칭은 Cutoff-conditioned Unseen Scientific Progress입니다.1 이름 그대로, 역사적 지식 컷오프를 기준으로 모델이 미래의 과학 발전을 얼마나 잘 예측하는지 평가합니다.
데이터셋은 생물학, 화학, 물리학, 의학, AI 등 여러 분야의 실제 과학적 사건 4,760개를 이벤트 단위로 다룹니다.1 여기서 중요한 점은 단순히 “정답을 알고 있는가”가 아닙니다. 모델이 해당 발견 이전의 정보만으로도 그 발전을 그럴듯하게 예상할 수 있었는지를 보려는 것입니다.
이 접근은 기존 평가와 구분됩니다. 일반적인 지식 평가에서는 모델이 학습 과정에서 답을 접했을 가능성을 완전히 배제하기 어렵습니다. 반면 CUSP는 시간 조건을 걸어, 모델의 사후 지식 활용과 실제 예측 능력을 분리하려고 합니다.
과학 예측은 네 가지 능력으로 나뉜다
CUSP는 과학 발전 예측을 하나의 정답 맞히기 문제로 보지 않습니다. 논문은 AI 시스템을 다음과 같은 과제로 평가합니다.1
특정 과학 발전이 발생할 가능성을 판단하는 능력
그 발전을 설명할 수 있는 메커니즘을 추론하는 능력
문제 해결을 위한 생성형 해결책을 설계하는 능력
해당 발전이 언제 등장할지 예측하는 능력
공개된 코드 저장소 설명에서도 과제 유형은 예/아니오, 선택형, 자유응답, 날짜 예측 등으로 구성됩니다.2 이는 과학적 예측이 단순한 “맞다/틀리다” 문제가 아니라는 점을 보여줍니다. 좋은 예측은 방향만이 아니라 근거, 작동 원리, 가능한 방법, 시점까지 함께 다뤄야 합니다.
CUSP가 보여준 현재 AI의 위치
논문 초록은 현재 프런티어 모델들이 CUSP에서 체계적이고 분야 의존적인 한계를 보였다고 보고합니다.1 다만 모델들이 완전히 무력했던 것은 아닙니다. 여러 경쟁 후보 중 그럴듯한 연구 방향을 식별하는 능력은 보였습니다.1
이 차이가 중요합니다. AI는 과학적 가능성을 넓게 탐색하고 유망한 후보를 좁히는 데 도움을 줄 수 있습니다. 하지만 그것이 곧 실제 발견의 발생 여부나 등장 시점을 안정적으로 예측한다는 뜻은 아닙니다.
따라서 CUSP의 의의는 “AI가 과학의 미래를 맞힐 수 있는가”라는 질문에 단순한 답을 주는 데 있지 않습니다. 오히려 AI의 능력을 더 정밀하게 나눠 보게 합니다. 모델이 잘하는 것은 후보 식별인지, 메커니즘 설명인지, 해결책 제안인지, 시간 예측인지 구분해야 한다는 것입니다.
연구 현장에서 어떻게 받아들여야 할까
CUSP가 주는 실용적 메시지는 분명합니다. AI를 과학 연구에 활용할 때 예측 결과를 곧바로 의사결정의 근거로 삼기보다는, 후보 탐색과 가설 정리 도구로 쓰는 편이 현실적입니다.
예를 들어 연구자는 AI가 제안한 방향을 다음과 같이 점검할 수 있습니다.
당시 이용 가능한 정보만으로도 타당한 주장인가
설명 메커니즘이 구체적인가
제안된 해결책이 실행 가능한 형태인가
예상 시점이나 발전 경로가 과도하게 단정적이지 않은가
CUSP는 새로운 데이터셋을 넘어, AI 과학 도구를 평가하는 기준을 제시합니다. 앞으로 중요한 질문은 “AI가 많이 아는가”가 아니라 “제한된 정보 안에서 얼마나 신뢰할 만한 과학적 판단을 하는가”가 될 것입니다.
결론적으로 CUSP가 보여주는 현재의 위치는 균형적입니다. AI는 유망한 연구 방향을 좁히는 데 도움을 줄 수 있습니다. 그러나 과학의 미래를 높은 신뢰도로 예언하는 단계에는 아직 이르지 않았습니다.
1Forecasting Scientific Progress with Artificial Intelligence
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.