실무를 끝까지 해내는 AI 에이전트: 평가·거버넌스·수익화 실전 가이드

핵심 요약

• 에이전트 평가는 이제 "정답률"이 아니라 "업무 완료율"로 옮겨가고 있습니다. Qwen3.7-Max의 35시간 장기 작업 사례, Cursor SDK 기반 장기 실행 패턴, SMDD-Bench의 502개 다단계 과제와 최고 40.2% 해결률은 모두 같은 메시지를 줍니다. 실무에서는 문제를 한 번 잘 설명하는 것보다, 여러 단계와 실패 복구를 거쳐 끝까지 마무리하는 능력이 핵심입니다.¹²³

• 장기 작업(long-horizon)의 기준도 더 구체해졌습니다. 최근 실무 가이드에서는 장기 작업을 보통 5분 이상 실행, 30회 이상 도구 호출, 500K+ 토큰 사용, 사람 개입 없이 CI·크론·웹훅으로 실행되는 흐름으로 정의합니다. 즉, 이제 에이전트는 채팅창 안의 도우미가 아니라 백그라운드에서 일하는 자동화 프로세스에 가깝습니다.³

• 거버넌스는 선택이 아니라 제품 품질의 일부입니다. DPrivBench는 총 720개 인스턴스(기초 588, 고급 132)로 프라이버시 추론을 시험했는데, 강한 모델도 고급 문제에서는 F1 약 0.74 수준에 머물렀습니다. 프라이버시·권리·감사 로그를 모델에게 전적으로 맡기면 안 되고, 규칙 엔진·지식베이스·사람 검토가 함께 들어가야 합니다.⁵

• 수익화 포인트는 모델 자체가 아니라 결과와 워크플로우입니다. 장기 작업 에이전트는 건당 원가를 계산하기 쉬워졌습니다. 예를 들어 공개 가이드 기준으로 작은 CI 수정은 약 $0.625, 다중 파일 리팩토링은 $2.20 수준으로 제시됩니다. 이런 구조에서는 좌석당 과금보다 이슈 해결당, PR 생성당, 승인 문서당 과금이 더 자연스럽습니다.³

• 학습 가치도 큽니다. 앞으로 중요한 역량은 프롬프트 작성만이 아닙니다. 평가 설계, 에이전트 운영(Agent Ops), 정책 설계, 단위경제성 계산, 지식 검색 결합(RAG, 필요한 자료를 찾아 붙이는 방식)을 아는 사람이 강해집니다. DPrivBench에서도 관련 정리나 참고 문헌을 붙여주면 성능이 눈에 띄게 개선됐습니다.⁵

• 주목해야 할 사람은 CTO, 제품 책임자, 개발 리더, 컴플라이언스...