AI 모델 경쟁의 초점이 바뀌고 있습니다. 이제 중요한 질문은 "어떤 모델이 더 똑똑한가"가 아니라 "이 모델이 실제 업무에서 얼마나 믿을 만한가"입니다.
Vals Fellowship이 눈에 띄는 이유도 여기에 있습니다. 이 프로그램은 AI 평가 연구 지원자를 모집하며, 평가를 단순한 성능 측정이 아니라 독립적인 연구 분야로 다루려는 흐름을 보여줍니다.
Vals는 무엇을 평가하는가
Vals AI는 금융, 법률, 소프트웨어, 의료 같은 산업별 실제 과제를 기준으로 AI 모델을 평가하는 회사입니다.1 공개 벤치마크에서 높은 점수를 받는지보다, 특정 업무 환경에서 모델이 얼마나 쓸모 있는지를 보려는 접근입니다.
대표적인 예가 Vals Index입니다. Vals Index는 비공개 데이터셋과 업계 전문가가 설계한 Vals AI의 독자 벤치마크를 사용합니다.2 현재 금융과 코딩 과제 성능을 가중 평균해 모델 성능을 평가합니다.2
여기서 중요한 점은 평가가 단순한 문제풀이가 아니라는 것입니다. 어떤 업무를 평가 대상으로 삼을지, 누가 문제를 설계할지, 점수를 어떻게 합산할지에 따라 "좋은 모델"의 의미가 달라집니다.
좋은 평가는 경제적 중요도를 반영한다
Vals Index의 핵심은 모든 능력을 같은 비중으로 보지 않는다는 데 있습니다. 이 지표의 목적은 AI 모델 역량이 미국 경제에 미칠 잠재적 영향을 측정하는 것입니다.2 그래서 각 산업의 미국 GDP 기여도를 기준으로 벤치마크 가중치를 정합니다.2
예를 들어 금융 부문은 약 2조 달러의 GDP 기여를 반영해 가중치 2.0을 받습니다. 코딩 부문은 약 1.4조 달러의 GDP 기여를 반영해 가중치 1.4가 적용됩니다.2
이 방식은 기업이 모델을 고를 때도 시사점이 큽니다. 단순 종합 점수만 보면 실제 업무 우선순위와 어긋날 수 있습니다. 금융 문서 분석이 중요한 조직과 소프트웨어 개발 자동화가 중요한 조직에 필요한 모델은 다를 수 있습니다. 따라서 모델 평가도 "우리에게 중요한 업무"를 중심으로 설계되어야 합니다.
Vals Fellowship이 의미하는 것
Vals Fellowship은 AI 평가 연구 지원서를 받는 프로그램입니다. 기간은 3~6개월이며, 참가자에게는 주당 1,000~2,500달러의 stipend가 제공됩니다. 또한 무제한 API 크레딧, GPU, 인간 데이터 예산이 지원되며, 원격 참여와 샌프란시스코 대면 참여가 모두 검토됩니다.
이 조건이 보여주는 메시지는 분명합니다. 좋은 AI 평가는 더 이상 부수적인 작업이 아닙니다. 비공개 데이터셋, 전문가가 설계한 과제, 반복 가능한 측정, 인간 데이터, 컴퓨팅 자원, 실제 워크플로에 대한 이해가 함께 필요한 연구 인프라입니다.
AI 도입을 고민하는 팀이라면 "가장 최신 모델은 무엇인가"보다 먼저 다음 질문을 던져야 합니다.
우리 업무를 대표하는 평가는 무엇인가?
그 평가는 실제 비용과 실패 위험을 반영하는가?
공개 점수와 내부 업무 성과 사이의 차이를 어떻게 확인할 것인가?
모델의 평균 성능뿐 아니라 중요한 업무에서의 안정성도 보고 있는가?
Vals Fellowship은 바로 이런 질문을 연구의 중심으로 가져오는 신호입니다. AI가 더 많은 산업 업무에 들어갈수록, 모델을 만드는 능력만큼이나 모델을 제대로 평가하는 능력이 중요해질 것입니다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.