AI 모델 평가는 흔히 짧고 명확한 문제를 얼마나 잘 푸는지에 집중합니다. 하지만 실제 회사 업무는 그렇게 정리되어 있지 않습니다. 필요한 정보는 이메일, Slack 스레드, 회의록, 문서, 데이터 내보내기 파일 곳곳에 흩어져 있고, 최종 결과물은 단순 답변이 아니라 재무 모델, 발표자료, 목업처럼 검토 가능한 산출물이어야 합니다.
Artificial Analysis가 공개한 AA-Briefcase는 이 차이를 정면으로 다루는 벤치마크입니다. 단일 프롬프트에 대한 답변이 아니라, 여러 주에 걸쳐 이어지는 지식 업무 프로젝트 안에서 AI 에이전트가 얼마나 제대로 일하는지 평가합니다.1
AA-Briefcase가 보려는 것
AA-Briefcase는 4개 장기 프로젝트와 91개 과제로 구성됩니다. 과제는 재무 모델, 이사회 발표자료, 디자인 목업처럼 실제 조직에서 요구될 법한 산출물에 가깝습니다.1
중요한 점은 맥락의 형태입니다. AA-Briefcase는 거의 2,000개의 소스 파일을 사용하며, 이메일 및 Slack 내보내기에는 3,500개 이상의 이메일이 포함됩니다.1 필요한 정보가 한 문서에 정리되어 있는 것이 아니라, 여러 파일과 대화 조각에 나뉘어 있습니다. 모델은 이 흩어진 자료를 찾아 연결하고, 누적되는 조직 맥락을 유지한 채 과제를 수행해야 합니다.
평가 방식도 단순한 정답 채점이 아닙니다. AA-Briefcase Elo는 루브릭 통과율, 분석 품질 Elo, 프레젠테이션 Elo를 결합한 지표입니다.1 루브릭 성능은 합성 일대일 대결 방식으로 Elo 점수로 변환되며, 여기에 분석과 표현 품질에 대한 쌍대 비교 평가가 더해집니다.1
즉 이 벤치마크는 세 가지를 함께 묻습니다.
요구사항을 실제로 충족했는가
분석 근거가 충분하고 일관적인가
결과물이 업무 산출물로서 설득력 있게 구성됐는가
왜 기존 벤치마크와 다른가
AA-Briefcase의 핵심 가치는 “보기 좋은 답변”과 “실제로 쓸 수 있는 결과물”을 구분한다는 데 있습니다. 모델은 그럴듯한 문장과 깔끔한 형식으로 답을 만들 수 있지만, 실제 업무에서는 작은 조건 누락이나 잘못된 근거가 큰 문제로 이어집니다.
AA-Briefcase는 바로 이런 약점을 드러내도록 설계됐습니다. 겉보기에는 세련됐지만 부정확하거나, 분석 근거가 약한 산출물을 걸러내는 데 초점을 둡니다.1 그래서 이 벤치마크의 결과는 모델의 “업무 적합성”을 볼 때 더 현실적인 신호가 됩니다.
결과도 낙관적이지만은 않습니다. Claude Fable 5는 AA-Briefcase에서 가장 앞선 성능을 보였지만, 전체 루브릭 기준을 모두 충족한 과제는 3%였습니다.1 또한 91개 과제 중 31개에서는 어떤 모델도 루브릭 기준 50%를 넘지 못했습니다.1
이는 현재의 프런티어 모델도 복잡한 지식 업무를 완전히 맡기기에는 아직 취약하다는 뜻입니다. 특히 긴 맥락 추적, 요구사항 누락 방지, 근거 기반 분석, 최종 산출물 품질을 동시에 만족시키는 일은 여전히 어렵습니다.
비용까지 보면 판단은 더 복잡해진다
AA-Briefcase가 보여주는 또 하나의 중요한 축은 비용입니다. 과제당 비용은 DeepSeek V4 Flash의 약 0.04달러부터 Claude Fable 5의 31달러 이상까지 800배 넘게 차이 났습니다.1
따라서 모델 선택은 단순히 “가장 성능이 좋은 모델”을 고르는 문제가 아닙니다. 실제 업무에서는 다음 질문이 더 중요해집니다.
이 업무에 최고 성능 모델이 꼭 필요한가
저렴한 모델을 쓰고 검증 단계를 늘리는 편이 나은가
오류 비용이 큰 업무인가, 반복 실험이 가능한 업무인가
최종 산출물보다 초안 생성이나 자료 정리에 더 적합한가
AA-Briefcase는 성능과 비용을 함께 보게 만든다는 점에서 실용적입니다. AI 도입의 기준을 “얼마나 똑똑한가”에서 “얼마나 안정적으로, 검증 가능하게, 비용 대비 쓸 수 있는가”로 옮깁니다.
실무에서 얻을 수 있는 기준
AA-Briefcase의 결론은 “AI에게 업무를 맡기면 안 된다”가 아닙니다. 오히려 반대에 가깝습니다. AI를 실제 업무에 쓰려면 검증 구조를 함께 설계해야 한다는 메시지입니다.
특히 다음과 같은 업무에서는 모델 출력만 믿기 어렵습니다.
여러 파일과 대화 기록을 함께 읽어야 하는 업무
요구사항이 많고 예외 조건이 있는 업무
최종 산출물이 의사결정에 직접 쓰이는 업무
숫자, 출처, 근거의 정확성이 중요한 업무
이런 경우에는 워크플로에 중간 점검을 넣어야 합니다. 출처 확인, 요구사항 체크리스트, 계산 검산, 사람 리뷰, 버전 비교 같은 절차가 필요합니다. AI는 산출물 생성 속도를 높일 수 있지만, 검증 없이 완결된 업무 담당자로 보기에는 아직 위험합니다.
AA-Briefcase가 주는 실용적 교훈은 명확합니다. 앞으로 모델을 평가할 때는 짧은 답변 능력만 볼 것이 아니라 긴 맥락을 추적하는지, 흩어진 정보를 제대로 연결하는지, 조건을 빠뜨리지 않는지, 비용 대비 반복 검증이 가능한지를 함께 봐야 합니다.
그 기준에서 AA-Briefcase는 단순한 성능 순위표가 아니라, AI 에이전트를 실제 지식 업무에 도입할 때 무엇을 확인해야 하는지 보여주는 체크리스트에 가깝습니다.
참고
1Announcing AA-Briefcase: a frontier knowledge work evaluation
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.