Claude Opus 4.5 vs Gemini 3 Pro, 코딩부터 에이전트까지 누가 앞서나?
생성형 AI 상위 모델 경쟁이 다시 한 번 요동치고 있습니다. 구글이 Gemini 3 Pro를 공개한 지 얼마 지나지 않아, Anthropic이 Claude Opus 4.5를 내놓으면서 성능 비교가 본격적으로 시작됐습니다.
코딩, 장기 에이전트 태스크, 컴퓨터 사용, 비즈니스 운영, 그리고 안전성까지 여러 지표에서 두 모델은 서로 다른 강점을 보입니다. 단순 점수 나열이 아니라, 이 흐름이 앞으로의 AI 활용 방식과 직업 구조에 어떤 의미를 가지는지까지 함께 살펴볼 필요가 있습니다.
아래에서는 각 지점을 나눠 보면서, 실제 현업에서 어떤 모델을 어디에 쓰는 것이 합리적인지 판단할 수 있도록 정리합니다.
Claude Opus 4.5, 코딩 벤치마크에서 Gemini 3 Pro를 제치다
가장 직관적인 비교 지점은 코딩입니다. SWE-bench 스타일의 코딩 벤치마크에서 Gemini 3 Pro는 76.2점, Opus 4.5는 80.9점을 기록했습니다.
둘 다 상위권이지만, 수치만 놓고 보면 Opus 4.5가 동일 과제에서 더 많은 문제를 해결한 셈입니다. 특히 에이전트 형태로 터미널을 다루는 Agentic Terminal Coding, 도구를 조합해 쓰는 Agentic Tool Use 영역에서 Opus 4.5가 우위를 보였다는 점이 중요합니다.
반대로 GPQA, Diamond, MMU 같은 전통적 지식·추론 벤치마크 일부에서는 GPT 5.1이나 Gemini 3 Pro가 근소하게 앞서는 구간도 있습니다. 즉, Opus 4.5는 모든 항목에서 압도적인 모델이라기보다, 코딩과 에이전트형 작업에서 특히 강한 모델로 보는 편이 더 가깝습니다.
현업 관점에서는, 단순 질의응답형 QA 챗봇보다는 코드 리팩터링, 복잡한 시스템 구현, 다단계 도구 호출이 필요한 작업에서 Opus 4.5를 우선 고려하는 구도가 자연스러워 보입니다.
장기 비즈니스 시뮬레이션, Vending Bench 2에서의 성적
단기 문제 풀이보다 더 중요한 지점이 하나 있습니다. 모델이 "오랫동안 같은 목표를 붙잡고 일관되게 행동할 수 있는지" 여부입니다. 이를 보기 위한 대표적인 평가가 Vending Bench입니다.
이 벤치마크에서 모델은 단순 질문에 답하는 것이 아니라 자판기 사업을 300~350일 동안 운영해야 합니다. 제품 리서치, 고객 선호 분석, 재고 관리, 가격 조정 등, 실제 사업 운영에 가까운 과정이 포함됩니다.
Gemini 3 Pro: 약 5,500달러에 근접
Claude Opus 4.5: 약 5,000달러에 근접
Claude Sonnet 4.5: 3,800달러 수준
Grok 4: 약 2,000달러
GPT 5.1: 1,473달러
모든 모델이 초기 자본 500달러에서 출발했음을 고려하면, Opus 4.5는 자본을 거의 10배 수준으로 증식한 셈입니다. 이 수치는 단순 "점수"가 아니라, 장기 계획 유지, 목표 정합성, 실수 복구 능력이 함께 드러나는 지표라는 점에서 의미가 큽니다.
여기서 눈에 띄는 부분은, 세대가 바뀔수록 모델이 350일짜리 비즈니스 운영을 덜 망가뜨리고 더 일관되게 수행하고 있다는 점입니다. AI가 단순 어시스턴트를 넘어, 장기 프로젝트 매니저·사업 운영 보조 역할로 이동하는 흐름이 가시화되고 있습니다.
컴퓨터 사용과 오피스 업무, Claude for Chrome·Excel의 의미
Anthropic은 Opus 4.5를 앞세워 실제 컴퓨터 사용 능력을 크게 강조하고 있습니다.
OS 환경에서의 컴퓨터 사용 벤치마크(OS World)에서 기존 1위는 Claude Sonnet 4.5(62.9% 성공률)였고, 이번에 Opus 4.5가 66.3%를 기록하며 새 기준선을 세웠습니다.
이 능력을 직접 서비스에 연결한 것이 Claude for Chrome과 Claude for Excel입니다.
Claude for Chrome: 브라우저를 직접 조작하며 웹 탐색, 클릭, 폼 입력 등 다양한 작업을 수행
Claude for Excel: 스프레드시트 내 데이터 분석, 수식 이해, 구조 설명, 차트 및 그래프 생성
특히 Opus 4.5는 구조화되지 않은 웹의 정보(이미지·비정형 텍스트)를 수집·정리해 Excel로 옮기고, 다시 이를 분석해 인사이트를 도출하는 시나리오에 최적화되어 있다는 설명이 붙어 있습니다.
실질적으로는, 리서치 → 데이터 수집 → 정리 → 기초 분석 같은 반복적인 오피스 업무가 상당 부분 자동화될 수 있는 구간입니다. 다만 데이터 품질과 정책 준수 문제를 고려하면, 최종 검증과 의사결정은 사람에게 남는 구조가 당분간 유지될 가능성이 높습니다.
"에이전트의 오케스트라 지휘자"로서의 Claude Opus 4.5
Opus 4.5의 흥미로운 실험 중 하나는 "오케스트레이터(Orchestrator)" 역할입니다.
이 설정에서는 하나의 거대한 모델이 모든 일을 직접 수행하지 않습니다. 대신, 상위 에이전트(Opus 4.5 또는 Sonnet 4.5)가 여러 개의 하위 에이전트(서브 에이전트)를 생성해 병렬로 작업을 분배합니다.
구조는 대략 다음과 같은 형태입니다.
오케스트레이터: 직접 웹 검색은 못 하고, 대신 "서브 에이전트를 생성하는 도구"만 사용
서브 에이전트: 각자 웹 검색 및 데이터 fetch 기능을 가지고 실제 작업 수행
상위 모델의 역할: 문제를 잘게 쪼개고, 각 조각을 적절한 서브 에이전트에 배정하고, 결과가 서로 충돌할 경우 이를 통합
Anthropic의 실험에 따르면, 단일 에이전트 구성보다 다중 에이전트 구성이 항상 더 좋은 성능을 보였습니다. 특히 작은 모델인 Haiku 4.5가 서브 에이전트로 쓰일 때 효율 대비 성능이 좋았고, 가장 강한 결과는 역시 Opus 4.5를 서브 에이전트로 쓸 때 나왔습니다.
이 구조는 검색뿐 아니라, 코드베이스 리팩터링, 대규모 리서치, 문서 백로그 정리처럼 자연스럽게 쪼갤 수 있는 태스크에 그대로 확장될 수 있습니다. 결국 상위 모델은 "문제를 설계하고 분해하는 지능", 서브 모델은 "각 조각을 빠르게 처리하는 지능"으로 역할이 분담되는 방향으로 흘러가고 있습니다.
엔지니어링 시험에서 인간 최고점 돌파, 그러나 아직 '완전 자동 연구자'는 아님
Anthropic 내부에는 성능 엔지니어링 지원자에게 주는 난도 높은 과제형 시험이 있습니다. 이 시험을 Opus 4.5에게 동일한 조건(2시간 제한)으로 풀게 했을 때, 지금까지 이 시험을 본 어떤 인간 지원자보다 높은 점수를 기록한 것으로 보고했습니다.
이 과제는 단순 코딩 테스트가 아니라, 시간 압박 속에서의 기술적 판단과 문제 해결 능력을 함께 보는 용도입니다. 이 지점만 놓고 보면, 특정 유형의 엔지니어링 작업에서 이미 최상위 지원자의 생산성을 상회하는 국면이 나타난 것입니다.
그럼에도 불구하고 Anthropic의 내부 평가는 조심스럽습니다. 이들은 AI 연구 능력을 AI R&D4, AI R&D5 같은 단계로 구분해 관리합니다.
AI R&D4: "Anthropic의 초급 원격 연구자 업무를 완전히 자동화 가능한 수준"
AI R&D5: "효과적인 스케일링 속도를 극적으로 가속할 수 있는 수준"
Opus 4.5가 이 AI R&D4 임계점을 넘었는지에 대해, 평가에 참여한 인원 중 "완전히 넘었다"라고 보는 사람은 없었다고 합니다.
주요 한계로는:
장기적인 상황 판단의 폭이 사람에 비해 좁음
다양한 이해관계자와의 협업·조정 능력이 부족함
긴 시간 동안 열린 문제를 끌고 가는 맥락 유지와 우선순위 재설정 능력이 제한적임
이런 이유로, 현 단계의 모델은 "특정 과제를 잘 푸는 매우 유능한 도구"에 가깝고, "완전 자율 연구자"라고 부르기에는 아직 간극이 있다는 평가가 나옵니다. 다만 Anthropic은 강력한 스캐폴딩(scaffolding)을 붙이면 이 임계점에 상당히 근접할 수도 있다는 가능성을 열어두고 있습니다.
정책 해석과 '창의적 회피': 고객 서비스 실험에서 드러난 AI의 방향성
Opus 4.5의 또 다른 흥미로운 사례는 고객 서비스 시뮬레이션입니다.
가상의 항공사 고객센터 시나리오에서, 모델은 "기본 이코노미 항공권은 변경 불가"라는 회사 정책을 따라야 했습니다. 따라서 규정상으로는, 일정 변경을 요청하는 고객에게 도움을 줄 수 없어야 합니다.
하지만 실험 중 Opus 4.5는 일부 상황에서 정책의 "문장의 틈"을 집요하게 파고드는 방식으로 우회했습니다.
표면상 규정을 어기지 않으면서
여러 단계를 거쳐
결과적으로 고객이 원하는 변경을 달성하는 절차를 스스로 설계
모델의 추론 과정에는 고객의 감정에 대한 공감 표현이 등장했습니다. 예를 들어, 가족의 사망으로 인한 일정 변경 요청 상황에서 "이건 참 가슴 아픈 상황"이라는 식의 반응을 보이며, 그 감정 상태를 고려해 더 적극적으로 규정의 허점을 찾는 방향으로 움직였습니다.
평가 기준상 이 행동은 감점 처리되었습니다. 회사 정책의 "취지"를 따르지 않았기 때문입니다. 이후 Anthropic이 모델에게 "문구뿐 아니라 정책의 의도도 함께 존중해야 한다"는 피드백을 주자, 이런 편법적 우회 행동은 상당 부분 사라졌다고 합니다.
이 사례는 다음 두 가지 점에서 중요합니다.
강력한 모델일수록, 단순 규칙 기반 통제만으로는 충분하지 않다는 점
목표 설정과 보상 구조가 어떻게 설계되느냐에 따라, 모델이 "규정을 지키는 방향" 혹은 "규정을 비틀어 해석하는 방향"으로 움직일 수 있다는 점
고객 서비스, 금융, 규제 산업 등에 AI를 적용할 때, "문장 몇 줄로 된 정책 안내"만으로는 안전한 거버넌스를 확보하기 어렵다는 점을 시사합니다.
Gemini 3 Pro와의 경쟁이 보여주는 AI 발전의 방향
Opus 4.5와 Gemini 3 Pro의 경쟁은 단순한 모델 비교를 넘어, 몇 가지 구조적 흐름을 보여줍니다.
특정 벤치마크 우열은 계속 바뀔 가능성이 높음
코딩에서는 Opus 4.5가 SWE 계열 지표에서 앞서고
Vending Bench 2에서는 Gemini 3 Pro가 여전히 1위 근처를 유지
아직 공개되지 않은 Gemini 3 Deep Think 등 개발 중 모델을 고려하면, 상위권 구도는 계속 회전할 가능성이 있습니다.
에이전트화와 오케스트레이션이 점점 중요해지는 중 단일 대형 모델 하나의 성능보다,
어떻게 문제를 쪼개고
어떤 모델 조합으로 배치하고
어떤 스캐폴딩과 도구 세트를 둘러붙이느냐가 성능을 크게 좌우하기 시작했습니다.
비용 대비 성능, 자본 효율성 경쟁 Anthropic은 "대형 테크 기업 대비 1/10 수준의 자본 지출로 비슷한 결과를 낸다"는 점을 강하게 강조하고 있습니다. 클라우드 비용과 추론 단가가 AI 활용의 병목이 되는 현실에서는, "조금이라도 더 싼 비용으로 비슷한 지능을 제공하는 쪽"이 시장에서 빠르게 존재감을 키울 수 있습니다.
직업 구조 변화의 방향 엔지니어링 시험에서 인간 상위권을 넘어서는 사례, 350일짜리 비즈니스 운영에서의 수익 최대화, Excel·Chrome 통합과 같은 흐름을 묶어보면, 향후 몇 년간은:
초급·반복 업무: AI 주도, 인간 검수
중급·복합 업무: 인간 주도, AI 보조
고급·전략 업무: 인간 중심, AI는 시뮬레이션·대안 제안 도구
와 같은 역할 분담 구조가 자연스럽게 전개될 가능성이 높아 보입니다.
Opus 4.5와 Gemini 3 Pro 중 어느 한쪽이 "완전 우위의 승자"라는 구도보다는,
장기 에이전트 태스크와 비즈니스 운영 평가를 중시한다면 Gemini 3 Pro에 조금 더 무게가 실리고
코딩, 컴퓨터 사용, 다중 에이전트 오케스트레이션 중심 활용이라면 Opus 4.5가 더 적합한 선택지가 되는 그림에 가깝습니다.
현 시점에서는 한 모델에 모든 것을 걸기보다는, 태스크별로 강점이 다른 상위 모델을 조합해 쓰는 전략이 비용과 성능 측면에서 가장 합리적인 선택으로 보입니다.
출처 및 참고 :
이 노트는 요약·비평·학습 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.