AI 에이전트가 스마트폰을 대신 조작하려면 화면의 버튼을 정확히 누르는 것만으로는 부족합니다. 실제 사용자는 앱 하나 안에서만 움직이지 않습니다. 예약 내역, 결제 기록, 메시지, 이동 기록, 사회적 관계를 오가며 판단합니다.
iOSWorld는 이처럼 “개인 맥락을 이해하는 모바일 에이전트”를 평가하기 위해 만든 상호작용 가능한 네이티브 iOS 시뮬레이터 벤치마크입니다.1 핵심 질문은 단순합니다. 모델이 앱을 조작할 수 있는가를 넘어, 사용자의 디지털 생활을 연결해서 이해할 수 있는가입니다.
iOSWorld가 평가하려는 것
iOSWorld에는 실제 앱을 모사한 26개의 SwiftUI 앱 클론이 포함됩니다. 예시로는 OpenTable을 닮은 TableFind, Uber를 닮은 CityRide, DoorDash를 닮은 Quickbite가 언급됩니다.1
이 앱들은 별개의 장난감 앱처럼 놓여 있지 않습니다. 거래, 메시지, 여행 기록, 사회적 연결, 금융 활동 데이터가 하나의 지속적인 사용자 정체성을 중심으로 연결되어 있습니다.1 즉, 벤치마크의 초점은 “앱 하나를 잘 쓰는 능력”이 아니라 “여러 앱에 흩어진 개인 데이터를 바탕으로 상황을 이해하는 능력”입니다.
예를 들어 어떤 작업은 음식 주문 기록만 보면 풀리지 않을 수 있습니다. 결제 내역, 메일 영수증, 일정 또는 이동 기록을 함께 확인해야 할 수 있습니다. 이것이 실제 스마트폰 사용에 더 가깝습니다. 사람은 앱 단위가 아니라 생활 흐름 단위로 문제를 해결하기 때문입니다.
작업 구조: 단일 앱에서 개인화 추론까지
iOSWorld에는 총 133개의 작업이 있습니다. 이 작업은 세 가지 난이도 계층으로 나뉩니다.2
단일 앱 작업: 27개
다중 앱 작업: 60개, 2개에서 8개 앱에 걸침
메모리·개인화 작업: 46개, 개인 데이터에서 추론하는 능력을 요구
이 구성이 중요한 이유는 모바일 에이전트의 약점을 더 선명하게 드러내기 때문입니다. 단일 앱 작업은 화면 이해와 기본 조작 능력을 봅니다. 다중 앱 작업은 앱 사이를 오가며 정보를 유지하는 능력을 봅니다. 메모리·개인화 작업은 사용자의 과거 데이터와 선호를 바탕으로 판단할 수 있는지를 평가합니다.
따라서 iOSWorld의 난이도는 단순히 클릭 수가 많아지는 방식이 아닙니다. 문제의 본질은 맥락 유지와 개인화된 추론입니다.
왜 기존 평가보다 까다로운가
모바일 에이전트가 실제로 유용해지려면 “지금 화면에 보이는 것”만 처리해서는 부족합니다. 사용자의 이전 행동, 여러 앱에 흩어진 단서, 개인적인 선호를 함께 고려해야 합니다.
iOSWorld의 공개 결과에서도 이 한계가 드러납니다. 최고 설정은 전체 51.9%를 기록했지만, 다중 앱 작업에서는 36.7%에 그쳤습니다.1 최신 모델도 앱을 넘나들며 맥락을 이어가는 능력에서는 아직 제한적이라는 뜻입니다.
접근성 정보도 중요한 변수입니다. 화면 이미지만 보는 방식보다 XML 접근성 트리 정보를 함께 제공하면 강한 프런티어 모델은 최대 26%포인트 개선됐지만, 작은 모델은 같은 수준의 이득을 얻지 못했습니다.2 더 많은 정보를 주는 것만으로는 충분하지 않습니다. 그 정보를 구조화해 활용할 추론 능력도 필요합니다.
개발자가 얻을 수 있는 실무적 힌트
iOSWorld는 모든 앱을 위한 MCP 도구 서버도 제공합니다.1 MCP는 모델이 앱 기능을 구조화된 도구처럼 호출할 수 있게 해주는 연결 방식입니다.
이 지점은 실무적으로 중요합니다. 모바일 에이전트를 만들 때 모든 문제를 화면 인식과 클릭으로만 해결하려 하면 불안정해질 수 있습니다. 반대로 예약 확인, 결제 조회, 메시지 검색처럼 구조화할 수 있는 기능은 도구 호출로 제공하고, UI 조작은 필요한 곳에 집중시키는 방식이 더 현실적일 수 있습니다.
연구진은 Qwen 3.5 35B에서 MCP 도구 사용 시 엄격 통과율이 12.8%에서 24.8%로 올랐다고 밝혔습니다.1 이는 도구 사용이 만능이라는 뜻은 아니지만, 모바일 에이전트 설계에서 UI 조작과 구조화된 API·도구 호출을 함께 고려해야 한다는 신호로 볼 수 있습니다.
iOSWorld가 주는 판단 기준
iOSWorld의 의미는 새 점수표 하나가 아닙니다. 모바일 AI 에이전트 평가 기준이 “화면 조작”에서 “개인 맥락 이해”로 이동하고 있음을 보여줍니다.
앞으로 에이전트를 만들거나 도입할 때는 단일 작업 성공률만 볼 것이 아니라 다음 질문을 함께 던져야 합니다.
여러 앱에 흩어진 정보를 연결할 수 있는가
사용자의 과거 데이터와 선호를 반영할 수 있는가
접근성 정보나 도구 호출 같은 구조화된 입력을 제대로 활용할 수 있는가
화면 조작 실패를 줄일 수 있는 안정적인 실행 경로가 있는가
iOSWorld가 강조하는 결론은 분명합니다. 스마트폰 에이전트의 다음 과제는 더 빠른 클릭이 아니라, 사용자의 디지털 생활을 맥락 속에서 이해하고 안전하게 실행하는 능력입니다.
1iOSWorld: A Benchmark for Personally Intelligent Phone Agents
2[2606.09764] iOSWorld: A Benchmark for Personally Intelligent Phone Agents
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.