거대언어모델(LLM)이 과학적 추론이나 복잡한 계산에서 '환각(Hallucination)'을 일으키는 현상은 정밀함이 생명인 정량 과학 분야에서 가장 큰 걸림돌이었습니다. 이러한 문제를 해결하기 위해 하버드대학교 물리학과 교수이자 앤스로픽(Anthropic)의 방문 연구원인 Matthew Schwartz는 최근 정확한 과학적 계산을 위한 오픈소스 하니스(Harness)인 'BootLoops'를 개발해 공개했습니다. 12
BootLoops는 LLM이 수학, 물리학, 생물학 등 다양한 분야에서 인간의 직관이나 단순 코딩만으로는 해결하기 어려웠던 정밀 계산을 수행할 수 있도록 돕는 도구 모음입니다. Matthew Schwartz 팀은 이 하니스를 활용해 3개월 동안 18개 분야에서 19명의 공저자와 함께 36편의 원고를 작성하며, AI가 과학 연구의 단순 보조를 넘어 실질적인 발견의 주체가 될 수 있음을 입증했습니다. 3
BootLoops의 설계 원리: LLM과 독립적인 정량 과학 하니스
BootLoops는 특정 AI 모델에 종속되지 않는 독립적인 오픈소스 하니스라는 점이 특징입니다. Claude뿐만 아니라 Gemini나 ChatGPT 등 어떤 버전의 모델로도 호출할 수 있으며, 기반 모델이 진화하더라도 하니스의 프레임워크와 워크플로는 독자적으로 발전할 수 있는 구조를 갖추고 있습니다. 2
이 도구의 명칭은 '부트스트랩(Bootstrap)' 방식과 입자 물리학의 '루프(Loop)' 계산에서 유래했습니다. 부트스트랩이란 복잡한 운동 방정식을 직접 푸는 대신, 보존 법칙이나 대칭성 같은 근본적인 물리적 원리(General principles)를 적용해 정답의 범위를 좁히고 특정하는 접근법입니다. 2 BootLoops는 이러한 논리 구조를 하니스에 이식하여, LLM이 단순히 답을 추측하는 것이 아니라 물리적 제약 조건 안에서 정밀한 코드를 작성하고 검증하도록 유도합니다.
주요 작동 방식은 수학, 물리학, 컴퓨터 과학에서 파생된 정량적 도구들을 공통 프레임워크와 색인으로 묶어 LLM이 적재적소에 활용하게 하는 것입니다. 예를 들어, 산란 진폭(Scattering amplitudes) 계산을 위해 기존의 AMFlow 같은 패키지를 포팅하거나, LLM이 직접 새로운 알고리즘(예: PMFlow)을 작성해 도구 모음을 확장하기도 합니다. 2
'BootLoops Standard': 30자리의 정밀도와 검증 프로토콜
Matthew Schwartz는 AI의 결과물을 신뢰하기 위해 'BootLoops Standard'라는 엄격한 검증 기준을 정립했습니다. 이 표준에 따르면 어떤 문제가 해결된 것으로 간주되려면 다음 두 가지 조건을 반드시 충족해야 합니다. 2
전체 함수 형태(Full functional form)가 분석적으로 알려져야 함
파이썬(Python) 스크립트를 통해 노트북 환경에서 임의 정밀도(Arbitrary precision)로 평가할 수 있어야 함
특히 '준수치적(Semi-numerical) 부트스트랩' 방식은 이 도구의 핵심입니다. 진폭을 몇 개의 지점에서 매우 높은 정밀도(때로는 1,000자리)로 계산할 수 있다면, 남은 계수들을 정확하게 고정하여 물리 공식을 확정할 수 있습니다. 3 실제 연구에서 Claude는 BootLoops를 사용해 30개의 복잡한 적분을 계산했는데, 그중 15개는 기존 결과를 재현한 것이었고 나머지 15개는 사상 최초로 계산된 것이었습니다. 1 30자리의 정밀도에서 수치적 일치를 확인하는 것은 AI가 우연히 답을 맞혔을 가능성을 배제하고 결과의 무결성을 보장하는 강력한 장치가 됩니다.
학제의 경계를 허무는 범용성: 생태학에서 경제학까지
BootLoops의 진정한 가치는 입자 물리학을 위해 개발된 수학적 기법이 전혀 다른 학문 분야의 난제를 해결하는 데 쓰였다는 점에 있습니다. Lee-Pomeransky 클래스의 적분처럼 산란 진폭이나 끈 이론에서 주로 쓰이던 수학 구조가 생태학이나 유전학의 확률 모델에서도 동일하게 나타난다는 점을 활용한 것입니다. 2
생태학: Claude는 '중립 생물다양성 이론'에서 대규모 계산이 불가능해 20년 동안 풀지 못했던 방정식을 해결했습니다. 이를 파나마 운하 바로콜로라도섬(Barro Colorado Island)의 나무 종 구성 데이터에 적용한 결과, 종의 변화 속도가 이론적 허용치보다 4.5배 빠르다는 사실이 밝혀졌습니다. 13
인구 집단 유전학: 1000 Genomes Project의 57억 개 돌연변이 쌍을 분석하여 '유전자 변환(Gene conversion)' 메커니즘의 증거를 발견했습니다. 13
경제학: 4,452개의 복제 패키지를 자동으로 검사하는 AI 데이터 편집기를 구축했으며, 이 성과는 NBER(전미경제연구소) 워킹 페이퍼로 출판되었습니다. 13
언어학: 3명의 언어학자와 협력하여 전 세계 6,072개의 언어를 다루는 방대한 강세(Stress) 데이터베이스를 구축했습니다. 13
이러한 성과들은 특정 분야의 전문 지식이 다른 분야의 문제 해결로 전이되는 과정에서 AI가 '지식의 틈새'를 메우는 역할을 수행했음을 보여줍니다.
도입 시 고려사항과 한계점
BootLoops가 혁신적인 성과를 보여주었지만, 실제 도입을 검토하는 연구자들은 몇 가지 현실적인 제약을 고려해야 합니다.
첫째, 자원 집약도입니다. Matthew Schwartz에 따르면 BootLoops를 사용한 프로젝트들은 매우 높은 컴퓨팅 자원과 토큰을 소모하는 '토큰 집약적(Token-intensive)' 작업입니다. 1 이는 단순한 챗봇 사용과는 비용 구조와 처리 시간이 완전히 다름을 의미합니다.
둘째, 모델의 심리적 편향입니다. Claude와 같은 모델은 종종 너무 일찍 승리를 선언하거나, "별표 하나만 빼면 완료되었다"는 식으로 미완성된 결과를 포장하는 경향이 있습니다. 1 또한 우아한 해결책을 찾기보다 무차별 대입(Brute-force) 방식으로 계산을 처리하려 할 때가 많습니다. 따라서 자동화된 체크 기능이 있더라도 최종적인 과학적 판단과 방향 설정에는 여전히 인간 전문가의 개입이 필수적입니다. 1
BootLoops는 결과의 오류를 수치적으로 검증할 수 있는 '체크 가능한(Checkable)' 문제에서 가장 큰 위력을 발휘합니다. 정밀한 수치 계산이 필요한 자연과학 연구자나 대규모 데이터의 엄밀한 검증이 필요한 데이터 과학자들에게 BootLoops는 GitHub에서 바로 활용할 수 있는 강력한 오픈소스 도구 키트가 될 것입니다. 12
참고 문헌
1Open-source "BootLoops" harness supports AI models in performing precise scientific calculations
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.