GUI 에이전트의 성패는 단순히 “똑똑한 답변”을 만드는 데 있지 않다. 웹, 모바일, 데스크톱 화면에서 여러 단계를 거쳐 목표를 완수하려면, 지금까지 무엇을 했는지 기억하고 다음 클릭이 실제 화면에서 맞는 위치인지 확인해야 한다. 한 번의 잘못된 클릭이나 입력이 전체 작업 실패로 이어질 수 있기 때문이다.
HiViG는 이 문제를 test-time, 즉 실행 시점에서 다룬다. 더 큰 모델을 학습시키는 접근이 아니라, 에이전트가 행동하기 직전에 그 행동이 맥락과 화면에 맞는지 점검하는 구조다.
HiViG는 실행 전 행동을 검토하는 critic이다
HiViG는 History-aware Visually Grounded test-time framework다. 이름 그대로 두 가지를 함께 본다.
첫째, 에이전트가 지금까지 수행한 작업 이력이다. 긴 GUI 작업에서는 개별 클릭을 모두 나열하는 것보다 “어떤 단계를 이미 완료했는지”를 압축해 기억하는 편이 중요하다. HiViG는 과거 상호작용을 macro-action history로 정리해, 에이전트가 같은 행동을 반복하거나 목표에서 벗어나는 문제를 줄이려 한다.1
둘째, 현재 화면에 대한 시각적 근거다. 에이전트가 “이 버튼을 누르겠다”고 판단해도 실제 좌표가 다른 UI 요소를 가리키면 작업은 실패한다. HiViG의 critic은 현재 스크린샷과 실행 좌표를 함께 검토해, 행동이 실제 화면에서 타당한지 확인한다.1
즉 HiViG의 핵심은 “무엇을 하려는가”뿐 아니라 “지금 이 화면에서 그 행동이 맞는가”를 실행 직전에 묻는 데 있다.
긴 GUI 작업에서 왜 효과가 나는가
GUI 에이전트는 한두 번의 질의응답보다 긴 작업 흐름에서 취약해진다. 예를 들어 지도에서 특정 장소를 찾거나, 오피스 애플리케이션에서 문서를 편집하는 작업은 여러 화면 전환과 세부 조작을 포함한다. 이 과정에서는 두 종류의 오류가 자주 생긴다.
이미 한 단계를 다시 반복하거나, 이전 상태를 잊는 오류
올바른 의도를 갖고도 잘못된 화면 요소를 누르는 오류
HiViG는 이 두 문제를 각각 history tracking과 visually grounded error analysis로 다룬다. 논문은 HiViG-critic 학습을 위해 히스토리 상태 추적과 시각 기반 오류 분석용 데이터셋 두 개를 구축했다고 설명한다.1
성능 개선도 이 방향을 뒷받침한다. 논문은 HiViG가 웹·모바일·데스크톱 벤치마크에서 기존 scalar critic 및 verbal critic보다 나은 결과를 보였다고 보고했다.1 공개 포스트에서는 Qwen3-VL-32B-Thinking의 WebArenaLitev2 Map 카테고리 성공률이 3.9%에서 23.1%로, Gemini-3-Flash의 WindowsAgentArena Office 카테고리 성공률이 4.7%에서 23.3%로 높아진 사례가 언급됐다.3
중요한 것은 “성공률 상승”만이 아니다
HiViG를 볼 때 단순히 특정 벤치마크 점수가 올랐다는 사실에만 집중하면 핵심을 놓치기 쉽다. 에이전트 평가에서는 먼저 기준선을 세워야 한다. 현재 성능 수준, 사용자 만족도, 운영 비용 같은 지표가 비교의 출발점이 된다.2
또한 평가 세트는 실제 운영에서 마주할 상한 조건을 반영해야 한다. 파일 크기, 응답 시간, 입력·응답 규모, 필수 언어 지원 같은 용량 조건뿐 아니라 시간 표현, 위치 인식, 응답 완전성, 언어 정밀도 같은 실패 요인도 검증해야 한다.2
GUI 에이전트라면 여기에 몇 가지 질문을 더해야 한다.
긴 작업에서 같은 행동을 반복하는가?
이전 단계의 상태를 제대로 반영하는가?
클릭 좌표가 실제 UI 요소와 일치하는가?
조직 정책, 역할별 정보, 핵심 문서 인용 요구사항을 지키는가?
프롬프트 누출이나 원시 URL 노출 같은 보안·표현 문제가 없는가?
Microsoft의 에이전트 평가 가이드도 언어 모델, 오케스트레이터, 추론 모델, 도구 유형이 바뀌면 기준선을 다시 설정해야 한다고 설명한다.2 따라서 HiViG 같은 test-time framework를 도입할 때도 “개선됐다”에서 멈추지 말고, 어떤 실패 유형이 줄었는지와 변경된 구성에서 새 기준선이 필요한지를 함께 봐야 한다.
HiViG가 주는 실무적 시사점
HiViG의 결론은 명확하다. GUI 에이전트의 다음 병목은 단순히 더 오래 생각하거나 더 큰 모델을 쓰는 데만 있지 않다. 실제 병목은 실행 직전의 검증이다.
긴 작업을 수행하는 에이전트를 만들거나 평가한다면 다음 기준이 중요하다.
이력 추적: 에이전트가 이전 단계를 요약해 기억하는가?
시각적 검증: 의도한 행동과 실제 화면 좌표가 일치하는가?
오류 유형 분석: 성공률뿐 아니라 반복, 이탈, 잘못된 클릭을 따로 측정하는가?
기준선 관리: 모델·도구·오케스트레이션이 바뀔 때 평가 기준을 다시 세우는가?
HiViG는 GUI 에이전트를 더 안정적으로 만들기 위한 방향을 보여준다. 핵심은 “더 똑똑한 답변”이 아니라, “지금 이 화면에서 이 행동을 해도 되는지”를 실행 전에 확인하는 것이다.
1A History-Aware Visually Grounded Critic for Computer Use Agents
2Evaluation frameworks | Microsoft Learn
3HiViG Test-Time Framework Improves Long-Horizon GUI Agent Performance
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.