최근 해커뉴스에 'Show HN: Understudy'가 올라왔습니다. 한 번만 작업을 "직접 보여주면" 데스크톱 에이전트가 비슷한 일을 따라 하게 만든다는 점이 눈길을 끕니다1. 왜 중요하냐면, 많은 AI 자동화가 여전히 "어떻게 해야 하는지"를 사람이 길게 설명해야 돌아가기 때문입니다.
Understudy란? '설명' 대신 '시범'으로 학습시키는 데스크톱 에이전트
Understudy를 이해하는 가장 쉬운 비유는 공연의 언더스터디(대역)입니다. 주연이 갑자기 빠져도 공연이 멈추지 않도록, 대역은 평소에 동선과 대사를 모두 익혀 "언제든 투입"될 준비를 하죠. 실제로 어떤 공연에선 배우가 몸이 안 좋아 무대에서 내려가자, 언더스터디가 즉시 역할을 이어받아 공연을 마무리해 화제가 되기도 했습니다2.
Understudy(도구)도 결이 비슷합니다. '업무를 대신할 준비가 된 파트너'라는 관점에서, 사용자가 한 번 보여준 화면 조작 흐름을 바탕으로 다음부터는 에이전트가 같은 패턴의 작업을 수행하는 쪽을 지향합니다. 즉 "자연어로 길게 지시하기"보다 "한 번 시연으로 절차를 각인시키기"에 가깝습니다.
왜 지금 '시연 기반'이 뜨나: 에이전트는 아직 스스로 기술을 못 만든다
에이전트가 똑똑해 보이는 순간에도, 막상 낯선 도메인이나 절차 업무에 들어가면 성능이 요동칩니다. 최근 연구/보도에 따르면, 에이전트에게 사람이 정리한 '스킬(절차 지식 묶음)'을 제공했을 때가, 그냥 지시만 했을 때보다 평균 16.2%p 더 잘 수행했고3, 에이전트가 스스로 스킬을 만들게 하면 오히려 도움이 거의 없거나 성능이 떨어지는 경향도 보고됐습니다4.
이 맥락에서 '한 번 시연'은 현실적인 타협안입니다. 사람이 매뉴얼을 새로 쓰지 않아도 되고, 에이전트에게는 "이 화면에서 이 버튼을 누르고, 다음 창에서 이 값을 넣는다" 같은 절차 지식이 생깁니다. 결국 에이전트 자동화의 병목은 모델의 말재주가 아니라, 작업 환경(UI) 속 절차를 얼마나 안정적으로 습득시키느냐로 옮겨가고 있습니다.
데스크톱 에이전트 경쟁 지도: Understudy를 어디에 쓰면 좋을까
요즘은 에이전트가 실제 컴퓨터를 조작하는 흐름이 확실히 커졌습니다. 예를 들어 Cursor는 클라우드 VM에서 에이전트가 앱과 브라우저를 직접 조작하고, 테스트 과정을 아티팩트(영상/스크린샷/로그)로 남기며 반복 검증까지 한다는 방향을 공개했습니다5. 이 접근은 "개발·테스트·검증"처럼 결과 증빙이 중요한 팀 작업에 강합니다.
반면 Understudy는 이름부터가 '업무 대역' 콘셉트라, 개인/팀의 반복적인 화면 업무를 "한 번 가르쳐두고 필요할 때 호출"하는 쪽이 더 어울립니다. 로그인 후 특정 메뉴를 열어 보고서를 다운로드한다든지, 매주 같은 포맷으로 데이터를 옮긴다든지, 사람 손이 자꾸 타는 'UI 루틴'에서 특히 매력적입니다.
노코드 에이전트 플랫폼들도 많지만(예: Zapier류 자동화, 대화형 에이전트 빌더 등)6, 이들은 대체로 "연동(Integration) 중심"입니다. Understudy 같은 데스크톱 에이전트는 연동이 없는 레거시 프로그램, 사내 전용 툴, 웹이지만 API가 없는 화면까지도 자동화 후보로 올린다는 점에서 결이 다릅니다. 물론 그만큼 실패했을 때의 복구, 클릭 미스, 화면 변경에 대한 견고함이 관건입니다.
시사점: '대역 배우'처럼 쓰는 AI, 잘 굴리는 3가지 팁
첫째, 시연은 짧고 자주 쪼개는 게 좋습니다. 한 번에 거대한 업무를 통째로 가르치기보다, 로그인·검색·다운로드·업로드처럼 장면 전환을 최소 단위로 나누면 UI가 바뀌어도 고치기 쉽습니다.
둘째, 결과물 검증 단계를 고정하세요. 공연 언더스터디가 동선만 외우는 게 아니라 "이 장면에서 관객 반응이 터져야 한다" 같은 품질 기준을 체화하듯, 데스크톱 에이전트도 마지막에 파일이 내려받아졌는지, 숫자가 맞는지 확인 규칙이 있어야 합니다.
셋째, '사람이 가르치는 비용'을 아끼려 하지 마세요. 연구에서도 사람이 잘 정리한 스킬이 성능을 올렸습니다34. Understudy의 핵심 가치는 사람을 빼는 게 아니라, 사람의 한 번 시범을 "반복 실행 가능한 자산"으로 바꾸는 데 있습니다. 내 업무의 언더스터디를 한 명 만들어 둔다고 생각하면, 자동화의 성공 확률이 확 올라갑니다.
참고
1Show HN: Understudy - Teach a desktop agent by demonstrating a task once
2Amber Davies gives update after being replaced by understudy in Legally Blonde mid-show
3AI agents still need humans to teach them
4AI agents can't teach themselves new tricks - only people can
5Cursor Agent가 이제 스스로 컴퓨터를 제어할 수 있습니다 · Cursor
610 Best No-Code AI Agent Platforms in 2026 [Ranked & Tested]
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.