핵심 요약
Anthropic은 직원 69명을 대상으로, 사람 대신 AI 에이전트가 물건을 사고파는 사내 장터 실험을 진행했다.
실험은 실제로 작동했고, 186건의 거래와 4,000달러가 넘는 거래액이 발생했다.
더 성능이 좋은 모델이 더 좋은 가격을 얻었지만, 불리한 모델을 쓴 사람들은 그 차이를 거의 알아차리지 못했다.
Project Deal이 무엇이었나
이 실험은 "AI가 사람을 대신해 시장에서 협상하고 거래할 수 있는가?"를 현실적으로 시험한 프로젝트였다.
방식은 단순하다. 직원들이 팔고 싶은 물건, 사고 싶은 물건, 협상 스타일을 AI에게 알려주면, 각 직원을 대신하는 AI가 사내 Slack 장터에서 서로 글을 올리고 가격을 흥정했다.
중요한 점은 거래 도중 사람 개입이 거의 없었다는 것이다. 에이전트는 사람에게 다시 물어보지 않고, 스스로 제안하고 반대 제안을 받고 거래를 성사시켰다.
즉, 이 실험은 "챗봇이 추천해주는 수준"이 아니라, 실제 이해관계를 가진 대리인 역할을 시험한 셈이다.
실험은 어떻게 설계되었나
참가자는 69명이었고, 각자 100달러의 예산을 받았다.
AI는 먼저 참가자와 짧은 인터뷰를 하며 무엇을 팔지, 최소 얼마에 팔지, 무엇을 사고 싶은지, 얼마나 낼 수 있는지, 어떤 말투로 협상할지를 정리했다.
그다음 각 사람에게 맞춤형 에이전트가 만들어졌고, 이 에이전트들이 여러 개의 병렬 시장에서 동시에 거래했다.
실험은 총 4개의 시장으로 굴러갔다. 어떤 시장은 모두 고성능 모델(Opus)만 사용했고, 어떤 시장은 고성능 모델과 소형 모델(Haiku)이 섞였다.
이렇게 여러 시장을 병렬로 돌린 이유는, 모델 성능 차이가 우연이 아니라 실제 효과인지 비교하기 위해서였다.
실제로 얼마나 잘 작동했나
결론부터 말하면 꽤 잘 작동했다.
실제 실행된 시장에서는 500개가 넘는 물품이 올라왔고, 186건의 거래가 성사됐다. 총 거래액은 4,000달러를 조금 넘었다.
거래 대상도 장난감 수준이 아니었다. 스노보드, 자전거, 예술품, 책, 핑퐁공처럼 다양한 실물 상품이 오갔다.
참가자들은 전반적으로 만족했고, 거래의 공정성도 대체로 중간값에 가까웠다. 즉 "한쪽이 크게 손해 본 느낌"보다는, 무난하게 타협된 거래가 많았다.
이 결과는 AI 에이전트가 적어도 제한된 환경에서는 시장 대리인 역할을 수행할 수 있음을 보여준다.
더 좋은 모델은 왜 유리했나
고성능 모델인 Opus는 소형 모델인 Haiku보다 대체로 더 좋은 결과를 냈다.
평균적으로 Opus를 쓴 사람은 Haiku를 쓴 사람보다 약 2건 더 많은 거래를 성사시켰다.
같은 물건을 팔더라도 Opus가 더 비싸게 파는 경우가 많았다. 비교 가능한 사례에서 Opus는 평균 3.64달러를 더 받아냈다.
또 전체 데이터를 보면, 판매자 쪽이 Opus일 때는 같은 물건도 평균 2.68달러 더 비싸게 팔렸고, 구매자 쪽이 Opus일 때는 평균 2.45달러 덜 내고 샀다.
쉽게 말해, 더 똑똑한 협상가는 팔 때는 더 비싸게 팔고 살 때는 더 싸게 산 것이다.
대표 사례: 같은 자전거, 다른 결과
가장 눈에 띄는 예시는 접이식 자전거였다.
같은 자전거, 같은 판매자, 같은 구매자였는데도 Haiku가 협상했을 때는 38달러에 팔렸고, Opus가 협상했을 때는 65달러에 팔렸다.
이 차이는 단순한 우연이라기보다, 가격 제안의 출발점, 반대 제안에 대응하는 방식, 협상 흐름을 읽는 능력 차이에서 나온 것으로 보인다.
시장에서는 작은 가격 차이도 쌓이면 커진다. 평균 가격이 아주 높은 시장이 아니었다는 점을 생각하면, 2~3달러 차이도 의미가 있었다.
놀라운 점: 사람들은 손해를 잘 못 느꼈다
가장 불편한 발견은 여기 있었다.
객관적으로는 Haiku 쪽이 더 나쁜 조건의 거래를 했는데, 참가자들은 그 차이를 거의 감지하지 못했다.
실험 후 참가자들은 각 거래의 공정성과 전체 결과에 대한 만족도를 평가했는데, Opus와 Haiku 사이에 체감 차이가 뚜렷하게 나타나지 않았다.
즉, 더 약한 대리인을 써서 실제로 손해를 보고도, 본인은 "그럭저럭 괜찮았다"고 느낄 수 있다는 뜻이다.
이 점은 현실 시장에서 매우 중요하다. 미래에 AI 대리인 품질 격차가 생기면, 불리한 쪽이 자신이 불리하다는 사실조차 모를 수 있기 때문이다.
협상 스타일 지시는 큰 효과가 없었다
참가자들은 AI에게 다양한 스타일을 주문했다.
누군가는 "친절하게, 동료들에게 좋은 인상을 주게"라고 했고, 누군가는 "처음엔 세게 깎아라"라고 했다.
하지만 공격적으로 협상하라는 지시는 통계적으로 뚜렷한 이점을 만들지 못했다.
공격적 판매자가 더 비싸게 판 것처럼 보이는 경우도 있었지만, 따지고 보면 애초에 희망 판매가를 더 높게 적은 영향이 컸다.
즉, 말투나 태도보다 모델 자체의 능력이 결과에 더 큰 영향을 준 셈이다.
에이전트는 단순히 효율적이기만 하진 않았다
이 실험의 흥미로운 점은 AI가 사람의 취향과 요청을 꽤 창의적으로 반영했다는 것이다.
예를 들어 어떤 참가자는 AI에게 "불운한 카우보이 말투로 협상해 달라"고 했고, 에이전트는 끝까지 그 캐릭터를 유지하며 거래했다.
또 다른 참가자는 "5달러 이하로 AI 자신에게 줄 선물을 하나 사라"고 했고, 그 결과 AI는 19개의 핑퐁공을 골랐다.
심지어 물건뿐 아니라 경험도 거래됐다. 어떤 에이전트는 "강아지와 하루 보내기" 같은 제안을 올렸고, 실제로 사람이 강아지와 시간을 보내는 약속이 성사됐다.
이런 사례는 AI 거래가 단순 가격 최적화만이 아니라, 인간의 취향과 엉뚱함까지 반영하는 방향으로 발전할 수 있음을 보여준다.
이 실험이 미래에 주는 경고
낙관적으로 보면, AI 에이전트는 시장의 마찰을 줄일 수 있다.
사람이 일일이 검색하고 흥정하는 수고를 덜어주고, 숨어 있던 거래 기회를 더 잘 찾아줄 수 있다.
실제로 참가자 중 상당수는 이런 서비스를 다시 쓰고 싶다고 답했고, 일부는 돈을 내고라도 이용할 의향이 있다고 했다.
하지만 위험도 분명하다. 더 좋은 모델을 가진 사람이 더 유리해질 수 있고, 그 격차는 조용히 누적될 수 있다.
기업 환경으로 가면 문제는 더 복잡해진다. 에이전트의 주의를 끌기 위한 최적화, 프롬프트 인젝션, 정보 유출, 조작된 협상 같은 보안 문제가 뒤따를 수 있다.
즉, 기술은 생각보다 빨리 실용 단계에 가깝지만, 제도와 규칙은 아직 거의 준비되지 않았다.
인사이트
이 실험의 핵심은 "AI가 거래를 할 수 있는가"가 아니라, "누구의 AI가 더 유능한가에 따라 시장 결과가 달라질 수 있는가"에 있다.
답은 이미 어느 정도 나왔다. AI 대리인은 실제 거래를 수행할 수 있고, 더 좋은 모델은 더 좋은 조건을 만들어낸다.
실용적으로 보면, 앞으로 AI 에이전트를 사용할 때는 단순 편의성보다도 대리 품질, 협상 권한 범위, 보안 장치, 사후 검토 장치를 함께 따져야 한다.
특히 중요한 원칙은 하나다. "편해서 맡긴다"와 "잘 대표된다"는 같은 말이 아니다.
출처 및 참고 : Project Deal: our Claude-run marketplace experiment | Anthropic \ Anthropic
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.