Anthropic이 새 벤치마크인 BioMysteryBench를 공개하며, Claude가 일부 생물정보학 과제에서 인간 전문가 수준에 도달했다고 주장했다. 공개된 설명에 따르면 이 벤치마크는 퀴즈형 지식문제가 아니라, 실제 데이터셋을 놓고 분석 경로를 스스로 정해야 하는 연구형 과제를 겨냥한다.12
중요한 건 "인간급 달성"이라는 헤드라인 자체가 아니다. 더 실무적인 질문은 따로 있다. 연구실, 바이오텍 스타트업, 분석팀이 AI를 단순한 자동완성기가 아니라 실제 분석 보조자로 써도 되는 순간은 언제인가. BioMysteryBench는 그 판단 기준을 조금 더 현실적으로 보여준다.
점수가 아니라, 어떤 업무가 덜 위험해졌는지 봐야 한다
BioMysteryBench는 99개의 문제로 구성됐고, 단일세포 RNA-seq, whole-genome sequencing, ChIP-seq, 메타지노믹스, 프로테오믹스 같은 실제 생물학 데이터가 포함됐다.23 모델은 컨테이너 안에서 도구를 쓰고, 추가 패키지를 설치하고, NCBI·Ensembl 같은 데이터베이스에도 접근할 수 있다.21
이 설계가 시사하는 바는 분명하다. 이제 평가 대상은 "정답을 아는가"가 아니라, "낯선 데이터 앞에서 무엇을 할 줄 아는가"에 가깝다.
실무적으로 보면 이런 결과가 먼저 디리스킹하는 업무는 네 가지다.
첫째, 지저분한 데이터셋의 초기 트리아지다. 어떤 분석부터 해볼지, 어떤 레퍼런스와 툴이 필요한지 정리하는 일이다.
둘째, 후보 가설 생성이다. 신호가 약한 데이터에서 가능한 설명 몇 가지를 빠르게 뽑아내는 데 AI는 이미 꽤 쓸 만하다.
셋째, 대안 분석 경로 제안이다. 사람이 익숙한 파이프라인 하나에 갇혀 있을 때, 모델은 다른 접근을 병렬로 내놓을 수 있다.
넷째, 재현 가능한 분석 계획 초안 작성이다. 코드, 패키지, 전처리 가정, 검증 단계까지 문서화하게 하면 생산성이 올라간다.
반대로, 이 점수만 보고 바로 맡기면 안 되는 일도 분명하다. 임상적 해석, 규제 대응 문서, wet-lab 실험 우선순위 결정처럼 오류 비용이 큰 판단은 아직 사람 책임 아래 둬야 한다. 벤치마크는 "유용할 수 있다"를 보여주지만, "바로 믿어도 된다"를 보장하진 않는다.
BioMysteryBench의 핵심은 정확도보다 '모호함 처리'다
Anthropic이 강조한 흥미로운 지점은, 생물학 문제에는 애초에 정답으로 가는 유일한 길이 없다는 점이다.2 같은 데이터도 연구자마다 전처리, 통계 기준, 참조 DB 선택이 달라 결론이 달라질 수 있다. 그래서 이 벤치마크는 주관적 해석 대신, 데이터의 객관적 속성이나 독립적으로 검증된 사실에 답을 묶었다.23
이건 AI 평가에서 꽤 중요한 전환이다. 생물정보학의 어려움은 계산 자체보다 불확실성 관리에 있기 때문이다. 좋은 모델은 맞히는 모델이 아니라, 애매할 때 애매하다고 말하고, 대안 설명을 제시하고, 어떤 증거가 약한지 드러내는 모델이다.
여기서도 한계는 드러난다. 공개된 결과를 보면 76개 "인간이 풀 수 있었던" 문제에선 최신 Claude 계열이 전문가와 비슷한 수준을 보였지만, 전문가 패널이 풀지 못한 23개 어려운 문제에선 최고 모델도 약 30% 성공에 그쳤다.14 더 중요한 건 재현성이다. 쉬운 문제에서는 여러 번 돌려도 같은 답을 내는 경향이 강했지만, 어려운 문제에서는 5번 중 1~2번만 맞는 식의 불안정한 성공이 많았다는 분석이 나온다.45
즉, frontier급 생물정보학에서 AI는 "가끔 번뜩이는 조언자"에는 가까워졌지만, "일관되게 재현 가능한 연구자"라고 보기엔 아직 이르다.
당장 도입하려는 팀을 위한 간단한 체크리스트
내일 바로 써보고 싶은 팀이라면, 파일럿 범위를 좁게 잡는 게 맞다. 추천 순서는 이렇다.
먼저 맡길 일은 저위험·고반복 업무여야 한다. 예를 들면 데이터셋 초기 요약, 분석 옵션 비교, 파이프라인 초안, QC 체크리스트 작성이다. 반면 최종 결론 작성, 생물학적 메커니즘 단정, 실험 중단 여부 판단은 제외하는 편이 안전하다.
모델 출력물도 자유서술로 받지 말고 구조화해야 한다. 최소한 다음 네 가지는 요구해야 한다.
가정: 어떤 전제를 두었는가.
증거: 어떤 파일, 어떤 지표, 어떤 DB를 근거로 썼는가.
재현성: 실행 코드나 명령어가 있는가.
확신도: 어디까지 자신 있고, 대안 설명은 무엇인가.
레드 플래그도 명확하다. 데이터보다 사전지식에 끌리는 답, 근거 없는 과도한 확신, 재실행 시 답이 흔들리는 경우, 코드와 설명이 서로 맞지 않는 경우다. 이런 신호가 보이면, 그 모델은 아직 그 업무에서 "분석자"가 아니라 "브레인스토밍 도구"로만 써야 한다.
비교 기준도 필요하다. 같은 시기 Genentech·Roche의 CompBioBench가 비슷한 방향의 계산생물학 벤치마크를 내놨다는 점은, 이런 흐름이 Anthropic 한 곳의 마케팅 실험만은 아니라는 신호다.4 다만 BioMysteryBench는 아직 Anthropic이 설계한 내부 벤치마크라는 점에서, 외부 재현과 독립 검증이 더 쌓여야 신뢰도가 올라간다.1
결국 지금 신경 써야 하는 사람은 AI 뉴스를 소비하는 사람이 아니라, 실제로 분석 병목을 안고 있는 팀이다. 그 팀이 봐야 할 건 "인간 전문가급"이라는 문구가 아니다. 내 워크플로에서 어떤 단계는 시간을 줄여주고, 어떤 단계는 여전히 위험한지다. BioMysteryBench가 보여준 변화는 분명하다. AI는 이제 생물정보학에서 장식용 챗봇 단계를 지나고 있다. 하지만 연구 의사결정의 책임 주체가 바뀌는 단계까지 왔다고 보기는 아직 어렵다.
참고
1Anthropic's new benchmark claims Claude can match human experts in bioinformatics
2Evaluating Claude's bioinformatics research capabilities with BioMysteryBench
4Beyond Expert-Level: How Claude Approaches Biological Problems Humans Cannot Answer
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.