AI 생성 이미지
Gemini 3.5 Flash (Medium)가 Zapier Automation Bench 리더보드에서 1위를 기록했습니다. 제시된 점수는 14.5%, 작업당 비용은 0.87달러입니다. 겉으로는 낮아 보이는 점수지만, 이 결과가 중요한 이유는 따로 있습니다. 모델 평가의 중심이 “정답을 잘 말하는가”에서 “도구를 써서 실제 일을 끝내는가”로 이동하고 있기 때문입니다.
Gemini 3.5 Flash는 무엇이 다른가
Gemini 3.5 Flash는 Google DeepMind가 2026년 5월 19일 공개한 Gemini 3 시리즈의 네이티브 멀티모달 추론 모델입니다.1 Gemini 3 Flash를 기반으로 하며, 텍스트뿐 아니라 이미지, 오디오, 비디오 파일 입력을 처리할 수 있습니다.1 컨텍스트 창은 최대 100만 토큰, 출력은 텍스트 기준 최대 6만4000토큰까지 지원합니다.1
이 모델을 이해할 때 중요한 개념은 thinking levels입니다. Gemini 3.5 Flash는 사고 수준을 조절해 품질, 비용, 지연시간의 조합을 바꿀 수 있습니다.1 즉 같은 모델이라도 어떤 설정을 쓰느냐에 따라 빠른 응답, 낮은 비용, 높은 품질 사이에서 다른 선택을 하게 됩니다.
Automation Bench에 오른 Gemini 3.5 Flash (Medium)는 이런 균형점을 보여주는 사례입니다. 자동화 작업에서는 최고 성능만큼이나 반복 실행 비용, 응답 속도, 실패율이 중요합니다. 특히 여러 도구를 호출하고 중간 결과를 바탕으로 다음 행동을 정해야 하는 업무에서는 단순한 언어 능력만으로 충분하지 않습니다.
14.5% 1위가 보여주는 두 가지 의미
Automation Bench 1위라는 결과는 Gemini 3.5 Flash (Medium)의 에이전트형 작업 수행 능력을 보여줍니다. 동시에 14.5%라는 점수는 현재 자동화 AI가 아직 성숙 단계에 들어서지 않았다는 점도 드러냅니다.
업무 자동화는 일반적인 질의응답보다 어렵습니다. 모델은 지시를 이해하는 데서 끝나지 않고, 적절한 도구를 선택하고, 실행 결과를 해석하고, 오류가 나면 복구해야 합니다. 한 단계만 틀려도 전체 작업은 실패할 수 있습니다. 그래서 Automation Bench의 점수는 “지식이 얼마나 많은가”보다 “전체 과정을 얼마나 안정적으로 완료하는가”에 가깝습니다.
Google DeepMind도 Gemini 3.5 Flash를 추론, 코딩, 에이전트형 도구 사용, 멀티모달, 다국어, 장문 컨텍스트 벤치마크로 평가했습니다.1 특히 Terminal-bench 2.1 에이전트형 터미널 코딩 평가에서는 76.2%를 기록했습니다.1 이 점은 Gemini 3.5 Flash가 단순 답변 모델이 아니라, 도구 사용과 실행 흐름을 포함한 작업에 초점을 둔 모델임을 보여줍니다.
비용은 성능만큼 중요하다
Gemini 3.5 Flash (Medium)의 Automation Bench 작업당 비용은 0.87달러로 제시됐습니다. 반복 업무를 줄이거나 사람이 처리하기 번거로운 작업을 대신한다면 매력적인 비용일 수 있습니다. 하지만 항상 “저렴한 선택”이라고 보기는 어렵습니다.
Lucas Beyer는 Gemini 3.5 Flash (Medium)의 엔드투엔드 비용이 Gemini 3.1 Pro (High)보다 더 비쌀 수 있다고 지적했습니다. 이는 모델 선택에서 단가만 보면 안 된다는 뜻입니다. 실제 비용은 토큰 가격뿐 아니라 작업 성공률, 재시도 횟수, 지연시간, 도구 호출 과정까지 포함해 봐야 합니다.
따라서 모델 선택 기준은 더 실용적으로 잡아야 합니다.
단순 요약, 분류, 짧은 질의응답에는 더 저렴한 모델이 적합할 수 있습니다.
긴 컨텍스트를 다루거나 여러 단계를 거치는 자동화에는 Gemini 3.5 Flash를 검토할 만합니다.
코딩, 도구 사용, 오류 복구처럼 실패 비용이 큰 작업에서는 작업당 총비용과 완료율을 함께 비교해야 합니다.
배울 점: 자동화 AI의 기준은 ‘완료율’이다
Gemini 3.5 Flash (Medium)의 1위는 “가장 똑똑한 모델”이라는 단순한 선언이 아닙니다. 더 중요한 메시지는 자동화 시대의 모델 경쟁 기준이 바뀌고 있다는 점입니다.
앞으로 모델을 평가할 때는 벤치마크 점수 하나만 볼 수 없습니다. 어떤 입력을 처리할 수 있는지, 긴 문맥을 유지할 수 있는지, 도구를 안정적으로 사용할 수 있는지, 작업당 비용이 실제 업무 가치와 맞는지를 함께 봐야 합니다.
Gemini 3.5 Flash (Medium)는 이 변화를 잘 보여주는 사례입니다. 자동화 AI에서 중요한 것은 멋진 답변이 아니라, 주어진 업무를 끝까지 처리하는 능력입니다. 그리고 그 능력은 성능, 비용, 지연시간, 도구 사용 안정성의 조합으로 판단해야 합니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.