AI 에이전트의 경쟁력은 이제 답변 품질만으로 설명하기 어렵습니다. 실제 업무 환경에서는 화면을 이해하고, 필요한 버튼을 찾고, 입력을 수행하며, 위험한 순간에는 멈출 수 있어야 합니다. Google이 Gemini 3.5 Flash에 Computer Use를 통합한 의미도 여기에 있습니다.1
Computer Use는 AI 모델이 웹브라우저나 앱 화면을 인식하고, 사용자를 대신해 클릭·입력 같은 조작을 수행하도록 돕는 기능입니다.2 쉽게 말해, 화면을 읽는 능력에 마우스와 키보드를 다루는 실행 능력이 결합된 것입니다.
무엇이 달라졌나: 별도 모델에서 기본 능력으로
Computer Use는 이전에 Gemini 2.5의 별도 모델로 제공됐습니다. 이번에는 Gemini 3.5 Flash 안에 네이티브로 통합되면서, 개발자는 하나의 모델 흐름 안에서 화면 인식, 추론, 조작을 함께 설계할 수 있게 됐습니다.1
이 변화는 단순한 기능 추가보다 큽니다. Google은 Gemini 3.5 Flash의 Computer Use가 브라우저, 모바일, 데스크톱 환경을 가로질러 화면을 보고 추론하고 행동하는 에이전트 구축을 지원한다고 설명합니다.1 즉, 특정 웹페이지를 자동 클릭하는 수준을 넘어 여러 업무 도구를 오가며 작업하는 에이전트에 가까워집니다.
예상 활용 사례도 그 방향을 보여줍니다. 여러 단계를 수반하는 업무 자동화, 기업용 앱 간 정보 수집, 웹앱 동작 확인, 접근성 테스트 등이 언급됐습니다.3 Google은 특히 장기 절차 작업과 엔터프라이즈 자동화 작업의 성능 향상을 목표로 한다고 밝혔고, 지속적 소프트웨어 테스트와 전문 업무용 애플리케이션 전반의 지식 작업도 활용 예로 제시했습니다.1
성능보다 중요한 질문: 어디까지 맡길 것인가
벤치마크 수치도 참고할 만합니다. OSWorld 벤치마크에서 Gemini 3.5 Flash는 78.4점을 기록했습니다. 같은 벤치마크에서 Anthropic Opus 4.8은 83.4점을 기록했습니다.3 Flash 계열 모델이라는 점을 고려하면, UI 조작 에이전트 영역에서 실용적 수준에 가까워지고 있다는 신호로 볼 수 있습니다.
다만 실제 도입 판단은 점수만으로 끝나지 않습니다. Computer Use가 강력할수록 더 중요한 질문은 “무엇을 자동화할 것인가”가 아니라 “어디에서 멈추게 할 것인가”입니다.
화면을 보는 에이전트는 웹페이지나 앱 내부의 문구를 지시로 오해할 수 있습니다. 특히 사용자가 직접 입력하지 않은 숨은 지시나 악성 문구에 영향을 받는 간접 프롬프트 인젝션은 실사용 환경에서 중요한 위험입니다.
Google은 Gemini 3.5 Flash의 Computer Use에 표적 적대적 학습을 적용해 라이브 환경의 프롬프트 인젝션 위험을 완화한다고 설명했습니다.1 또한 기업용 선택형 보호 기능으로, 민감하거나 되돌릴 수 없는 작업에는 명시적 사용자 확인을 요구하고, 간접 프롬프트 인젝션이 식별되면 작업을 자동 중단하는 기능을 제공합니다.1
개발자가 봐야 할 실무 포인트
Gemini 3.5 Flash의 Computer Use는 Gemini API와 Gemini Enterprise Agent Platform을 통해 제공됩니다.1 따라서 개발자는 단순 데모보다 실제 업무 흐름에 맞춰 권한, 확인 절차, 로그, 예외 처리를 함께 설계해야 합니다.
특히 유용한 점은 모델이 조작 의도도 함께 출력한다는 것입니다. 개발자는 AI가 왜 특정 버튼을 클릭하려 하는지 파악할 수 있습니다.3 이는 디버깅에만 필요한 기능이 아닙니다. 운영 환경에서는 감사, 보안 검토, 사용자 신뢰 확보에도 중요합니다.
실무 적용은 복구 가능한 작업부터 시작하는 편이 안전합니다. 예를 들어 반복 입력, 테스트, 정보 수집, 화면 검증처럼 실패해도 되돌릴 수 있는 업무가 적합합니다. 반대로 결제, 삭제, 권한 변경, 외부 전송처럼 되돌리기 어려운 작업은 사용자 확인, 샌드박스, 접근 제어를 함께 두어야 합니다.
결론: 더 많이 클릭하는 AI보다 잘 멈추는 에이전트
Gemini 3.5 Flash에 Computer Use가 통합됐다는 것은 화면 조작 능력이 점점 일반 모델의 기본 구성요소가 되고 있다는 뜻입니다. AI는 더 이상 답변만 생성하는 도구가 아니라, 실제 소프트웨어 환경에서 작업을 수행하는 에이전트로 확장되고 있습니다.
하지만 좋은 에이전트는 무조건 더 많이 클릭하는 AI가 아닙니다. 반복적이고 검증 가능한 일은 빠르게 처리하되, 위험하거나 되돌릴 수 없는 순간에는 멈추고 사람에게 확인을 요청해야 합니다.
Computer Use를 도입할 때의 핵심은 자동화 범위를 넓히는 것이 아니라, 맡길 일과 막을 일을 먼저 정하는 것입니다.
1Introducing computer use in Gemini 3.5 Flash
2「Gemini 3.5 Flash」がPC操作能力を獲得、「Computer Use」をネイティブ統合 - 窓の杜
3Gemini 3.5 Flashに画面を認識してクリックや文字入力する能力「computer use」が追加される、PCを操作するエージェントの構築が可能に - GIGAZINE
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.