GPT와 Claude가 금융을 전혀 “모른다”는 이야기가 아니다. 브리지워터 AIA Labs와 Thinking Machines Lab의 실험이 보여준 핵심은 더 구체적이다. 금융 업무에서 어려운 부분은 계산이나 요약만이 아니라, 수많은 문서 중 무엇이 투자 판단에 중요한지 가려내는 일이다.
브리지워터 테스트는 무엇을 평가했나
이 평가는 투자자의 일상 업무를 6개의 작은 과제로 나눈 것이다. 대상 문서는 뉴스 기사, 리서치 보고서, 회사 문서, 이메일, 내부 작성물 등을 포함한다.1 공통점은 하나다. 투자자가 매일 마주치는 정보 더미에서 유용한 신호를 선별해야 한다는 점이다.
대표적인 과제는 다음과 같다.
금융 기사가 C레벨 투자 전문가에게 관련 있는지 판단하기
중앙은행 문서가 향후 금리 변화 방향을 시사하는지 분류하기
투자자 질문과 리서치 문서가 주어졌을 때, 해당 문서가 답변에 도움이 되는지 판단하기
리서치 문서가 반복적 상용구인지, 상용구와 일회성 분석이 섞였는지 구분하기
이슈별 일회성 콘텐츠의 마지막 페이지를 찾기
문서나 이메일에서 상용구 콘텐츠가 시작되는 위치를 식별하기1
겉으로는 단순한 분류 문제처럼 보인다. 그러나 실제로는 필터링, 해석, 세분화, 유용한 신호 식별이 결합된 판단 작업이다.1 숙련된 투자자는 자연스럽게 처리하지만, 그 기준을 명확한 규칙으로 쓰기는 어렵다.
기본 프롬프트만으로는 부족했다
기본 프롬프트를 사용했을 때 Gemini, Claude, GPT 계열 모델은 이 과제들에서 약 50% 정확도에 머물렀다.1 이는 모델이 금융 문장을 읽지 못했다기보다, 투자 전문가가 무엇을 “중요하다”고 보는지 충분히 따라가지 못했다는 뜻에 가깝다.
프롬프트를 개선하자 결과는 달라졌다. 전문가가 실제 업무 설명을 바탕으로 지침을 작성하고, 단순한 관련 있음/없음 대신 “관련 있고 흥미로움”, “관련 있지만 덜 중요함”, “무관함”처럼 3단계 등급 체계를 적용하자 정확도는 70%대 중반까지 올라갔다.1
여기서 얻을 수 있는 첫 번째 교훈은 분명하다. 금융 AI 평가에서는 모델 자체만큼이나 과제 정의와 라벨 체계가 중요하다. “이 문서가 관련 있는가?”보다 “어떤 수준으로, 왜 관련 있는가?”를 묻는 편이 모델의 판단을 더 잘 끌어낸다.
성능 차이는 공개 지식보다 전문가 판단 데이터에서 나왔다
하지만 좋은 프롬프트만으로는 한계가 있었다. 연구진은 일상 업무에 믿고 쓰려면 80% 이상의 정확도가 필요하다고 봤고, 프론티어 모델은 개선된 프롬프트에서도 그 기준을 넘지 못했다.1
더 큰 변화는 파인튜닝에서 나왔다. 연구진은 Thinking Machines Lab의 Tinker 플랫폼에서 Qwen3-235B 기반 모델을 학습시켰고, 자체 평가에서 평균 84.7% 정확도를 기록했다.1
중요한 것은 특정 모델명이 아니라 학습 데이터의 성격이다. 비전문가가 단순히 붙인 라벨만으로는 부족했고, 투자 전문가가 검증한 판단 데이터가 필요했다.1 즉 성능을 끌어올린 핵심은 공개 웹에 널린 금융 지식이 아니라, 조직 내부에 축적된 판단 기준과 암묵지였다.
기업이 배울 점
이 사례는 금융 AI 도입의 순서를 바꿔 생각하게 만든다. 먼저 최신 모델을 고르는 것이 아니라, 자동화하려는 판단 업무를 좁고 명확하게 정의해야 한다. 그다음 전문가가 실제로 어떻게 판단하는지 라벨과 기준을 만들어야 한다.
실무적으로는 다음 순서가 더 현실적이다.
반복적으로 발생하는 정보 선별 업무를 찾는다.
“좋은 판단”의 기준을 전문가 언어로 정리한다.
단순 이진 분류보다 등급형 판단 체계를 설계한다.
전문가가 검증한 라벨 데이터를 축적한다.
프롬프트 개선과 파인튜닝을 순차적으로 비교한다.
결론은 간단하다. 범용 AI는 좋은 출발점이지만, 금융처럼 판단 기준이 비공개이고 맥락 의존적인 영역에서는 그것만으로 충분하지 않다. 더 강한 성능은 “모델이 금융을 얼마나 많이 아는가”보다 “우리 조직이 무엇을 중요하게 보는가”를 얼마나 잘 학습했는지에서 나온다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.