브라우저 에이전트의 핵심 질문은 이제 “모델이 웹을 조작할 수 있나”가 아닙니다. 더 중요한 질문은 “실제 고객 계정, 실제 웹사이트, 실제 보안 위험 속에서 반복적으로 실행할 수 있나”입니다.
이 차이를 메우는 계층이 Browser Agent Harness입니다. 하네스는 모델 주변에 도구 호출, 파일 접근, 작업 종료 판단 루프, 가드레일을 묶어 에이전트를 실제 작업 가능한 시스템으로 만드는 실행 계층입니다.1
브라우저를 조작하는 것과 제품으로 운영하는 것은 다르다
Chrome DevTools Protocol, 즉 CDP는 코드나 에이전트가 Chromium 브라우저를 조작할 때 쓰는 프로토콜입니다.1 Browserbase는 이를 코드와 브라우저 사이의 HTTP 같은 통신 계층으로 설명합니다.1 Playwright 같은 고수준 API도 내부적으로는 CDP 명령으로 변환됩니다.1
이 때문에 “모델에게 CDP를 직접 주면 되지 않을까?”라는 접근이 나옵니다. 실제로 Browser Harness 같은 프로젝트는 Chrome에 웹소켓으로 직접 연결하고, 에이전트가 필요한 헬퍼를 실행 중 직접 작성하게 합니다.2 실험, 프로토타입, 내부 자동화에서는 빠르고 유연한 방식입니다.
하지만 운영 환경에서는 CDP만으로 충분하지 않습니다. CDP는 브라우저를 움직이는 방법을 제공합니다. 그러나 실제 웹에서 필요한 것은 로그인, MFA, CAPTCHA, 봇 탐지, 자격 증명 관리, 프롬프트 인젝션 방어까지 포함한 운영 계층입니다. 즉, 브라우저를 조작하는 능력과 안전하게 반복 실행하는 능력은 별개의 문제입니다.
운영용 하네스는 모델 앞단을 정리한다
브라우저 에이전트가 보는 웹페이지는 신뢰할 수 있는 입력이 아닙니다. 운영 환경에서 DOM은 프롬프트 인젝션 벡터가 될 수 있습니다.1 웹페이지 DOM을 그대로 프롬프트에 붙이면, 페이지 안의 악성 문구가 모델에게 지시처럼 전달될 수 있습니다.1
그래서 하네스는 DOM과 모델 사이에서 필터 역할을 해야 합니다. 예를 들어 Stagehand의 extract와 observe 프리미티브는 원시 HTML 대신 구조화되고 스키마로 검증된 페이지 표현을 모델에 전달합니다.1 또한 숨겨진 텍스트를 제거하고, 화면 밖 요소의 우선순위를 낮추며, 알려진 인젝션 패턴을 표시합니다.1
핵심은 모델에게 더 많은 정보를 주는 것이 아닙니다. 모델이 실제로 판단에 써야 할 정보만 안전한 형태로 전달하는 것입니다.
반복 작업에는 기억이 필요하다
브라우저 에이전트는 같은 사이트에서 같은 흐름을 반복하는 경우가 많습니다. 로그인 페이지를 찾고, 메뉴를 열고, 특정 버튼을 누르는 방법을 매번 새로 추론하게 하면 실행마다 불필요한 토큰 비용이 발생합니다.1
따라서 운영용 하네스에는 캐싱과 스킬 메모리가 필요합니다.1 에이전트가 이미 배운 사이트별 탐색 방식이나 반복 가능한 플레이북을 재사용하면, 매번 모델이 처음부터 웹사이트를 해석하지 않아도 됩니다.
이는 단순한 최적화가 아닙니다. 비용, 속도, 안정성을 동시에 개선하는 운영 전략입니다.
선택 기준은 자유도가 아니라 운영 가능성이다
브라우저 에이전트 하네스를 고를 때는 “얼마나 자유롭게 브라우저를 조작할 수 있나”만 보면 부족합니다. 실제 판단 기준은 다음에 가깝습니다.
실험과 프로토타입인가, 실제 고객 계정을 다루는 제품인가
DOM과 모델 사이에 보안 계층이 있는가
자격 증명과 신원 관리를 안전하게 처리할 수 있는가
반복 작업을 캐싱하거나 스킬 메모리로 재사용할 수 있는가
작업 종료 판단과 가드레일이 실행 루프 안에 포함되어 있는가
얇은 CDP 기반 하네스는 실험에 적합합니다. 반면 실제 고객 데이터와 계정을 다루는 운영 환경에서는 보안 계층, 캐싱, 신원 관리, 자격 증명 중개, 스킬 메모리가 포함된 하네스가 필요합니다.1
브라우저 에이전트의 경쟁력은 모델 성능만으로 결정되지 않습니다. 모델이 웹을 볼 수 있게 하는 것보다 중요한 것은, 모델이 웹을 안전하고 반복 가능하게 다루도록 만드는 것입니다. 앞으로 데모와 제품을 가르는 기준은 하네스를 얼마나 잘 설계했는지가 될 것입니다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.