AI2가 "웹을 직접 쓰는 AI"인 MolmoWeb을 공개했습니다. 중요한 건 성능보다도, 모델 가중치뿐 아니라 데이터·평가도구까지 함께 풀어 "검증 가능한 웹 에이전트"의 기반을 만들었다는 점이에요.1
MolmoWeb은 브라우저 화면을 스크린샷으로만 보고 클릭/타이핑/스크롤을 반복하며 업무를 끝까지 밀어붙이는 시각 기반 웹 에이전트입니다. 이 글에서는 "왜 스크린샷 방식이 의미 있는지", "데이터가 왜 핵심인지", "어디에 써먹을 수 있고 무엇을 조심해야 하는지"를 간단히 정리해볼게요.
스크린샷 기반 웹 에이전트란? (DOM 없이 좌표 클릭)
기존 웹 자동화는 보통 HTML(DOM)이나 접근성 트리(Accessibility Tree)를 읽어 버튼을 찾습니다. MolmoWeb은 반대로 사람이 보는 그대로, 픽셀로 된 스크린샷만 입력으로 받습니다.2
동작도 단순합니다. "현재 화면 스크린샷 + 지시문 + 이전 행동 로그 + URL/타이틀"을 보고 다음 행동을 하나 고릅니다. 그리고 클릭은 '버튼 선택'이 아니라 "화면의 (x, y) 좌표를 찍는 방식"이라, 브라우저 종류가 달라도 같은 원리로 움직입니다.2
이 방식의 장점은 의외로 현실적이에요. 어떤 사이트는 구조를 난독화하거나 동적으로 바꿔 자동화를 막는데, MolmoWeb은 코드가 아니라 "보이는 UI"를 기준으로 하니 구조 변화에 덜 흔들릴 수 있습니다.3 또 접근성 트리를 길게 직렬화하면 토큰이 크게 늘 수 있는데, 스크린샷은 상대적으로 입력이 간단합니다.3
MolmoWebMix: '모델'보다 더 큰 공개, 3만+ 사람의 클릭 기록
MolmoWeb의 진짜 무기는 학습 데이터 묶음인 MolmoWebMix입니다. 1,100개가 넘는 웹사이트에서 사람이 직접 수행한 웹 작업 궤적이 3만 건 규모로 포함됐고, 세부 행동(서브태스크) 데모는 59만 건 이상으로 공개됐습니다.4
여기에 "사람 데이터만으로는 부족하니 합성 데이터로 확장"을 했는데, 흥미로운 포인트가 있습니다. 시각 에이전트(폐쇄형 API)를 베껴(distillation) 키운 게 아니라, 텍스트 기반 접근성 트리 에이전트로 합성 궤적을 만들었다는 점이에요.4 라이선스/재현성 논란을 줄이면서, 연구자가 파이프라인 전체를 뜯어보고 다시 학습시킬 수 있는 길을 열어줍니다.
또 하나. 화면에서 텍스트를 읽고 UI 요소를 짚는 능력을 키우기 위해 스크린샷 질의응답 데이터가 220만 쌍 이상 포함됐다고 알려졌습니다.4 "왜 자꾸 엉뚱한 곳을 클릭하지?" 같은 문제를 줄이려면, 결국 화면 이해(grounding)가 탄탄해야 하거든요.
성능과 한계: 오픈 모델 최상위권, 대신 '작은 글씨'가 약점
벤치마크에서 MolmoWeb-8B는 WebVoyager 78.2%를 기록했고, 여러 번 시도(pass@4)로 스케일링하면 94.7%까지 올라갑니다.5 즉, 한 번에 완벽하진 않아도 "다시 해보면 되는 실패"가 꽤 많다는 뜻이죠. 연구·서비스 관점에서는 재시도 전략, 다중 롤아웃, 검증기(verifier) 결합 같은 운영 설계가 중요해집니다.
반면 스크린샷 방식의 고질병도 정직하게 드러납니다. 작은 글씨를 잘못 읽거나(OCR 류 오류), 드래그앤드롭이 약하고, 지시가 애매하거나 제약이 많으면 성능이 떨어질 수 있습니다.2 그리고 학습 범위에서 로그인/결제 같은 민감 작업은 제외됐습니다.2 "바로 실무 자동화 끝판왕"이라기보다, 안전한 범위에서 재현 가능한 오픈 기반을 만든 쪽에 가깝습니다.
시사점: 개발자가 얻는 이득과 '현실적인' 활용 팁
MolmoWeb의 메시지는 분명합니다. 이제 웹 에이전트도 "API를 호출해 쓰는 제품"만 있는 게 아니라, 팀이 직접 호스팅하고 내부 업무에 맞게 미세조정할 수 있는 오픈 선택지가 생겼다는 것.1
실용적으로는 이렇게 접근하는 게 좋습니다. 먼저 로그인 없는 반복 업무(가격/재고 체크, 공개 문서 수집, 리스트 기반 검색 반복)를 골라 작은 브라우저 플로우부터 붙이세요. 다음으로는 재시도(pass@k)와 결과 검증(스크린샷 기반 체크리스트)을 기본값으로 두는 편이 안전합니다. 마지막으로, 스크린샷 텍스트 오류를 전제로 UI를 "크게, 단순하게" 쓰는 사이트부터 적용하면 성공률이 확 뛰어요.
오픈 소스 웹 에이전트를 "내 손으로 디버깅 가능한 자동화 직원"으로 만들고 싶다면, MolmoWeb은 지금 공개된 선택지 중 가장 '레시피에 가까운 패키지'라는 점에서 체크할 가치가 큽니다.2
참고
1AI2's fully open web agent MolmoWeb navigates the web using only screenshots
3Ai2 releases open-source visual AI agent that can take control of web browsers
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.