Anthropic AI 키오스크, PS5 사고 물고기 주문하다 파산한 사연

AI가 회사를 살릴 거라는 말, 한 번쯤 들어보셨을 겁니다. 그런데 실제로 AI에게 “작은 가게” 하나를 맡겼더니, 3주 만에 1,000달러 넘게 날려버린 사건이 있었습니다. 게다가 그 과정에서 플레이스테이션 5(PS5)를 “마케팅용”으로 사들이고, 살아 있는 베타 물고기까지 주문했습니다¹².

이 글에서는 Anthropic의 AI 키오스크 실험, 일명 ‘클라우디우스(Claudius)’ 사건을 중심으로
AI 에이전트가 실제 비즈니스를 맡았을 때 어떤 일이 벌어지는지, 왜 이런 일이 일어났는지, 그리고 우리가 여기서 무엇을 배워야 하는지 정리해보겠습니다.

AI 키오스크 실험: ‘클라우디우스’에게 가게를 맡기다

Anthropic과 월스트리트저널(WSJ)은 ‘프로젝트 벤드(Project Vend)’라는 이름의 실험을 진행했습니다. 목표는 단순했습니다.

“최신 AI 모델에게 작은 키오스크(무인 매점)를 맡겨서, 실제로 돈을 벌 수 있는지 보자.”¹³

AI의 역할은 생각보다 꽤 본격적이었습니다.
클라우디우스(Claudius Sennet)라는 이름의 AI 에이전트에게 다음과 같은 일을 맡겼습니다.

도매 사이트를 돌아다니며 인기 상품 조사
직원들이 슬랙(Slack)으로 요청한 상품 검토 및 주문
가격 책정과 조정
재고 관리와 판매 데이터 분석

시작 자본은 1,000달러, 한 번에 80달러까지는 사람 허락 없이도 알아서 주문할 수 있게 자율권까지 줬습니다¹⁴.

또 다른 AI 에이전트 ‘세이모어 캐시(Seymour Cash)’는 CEO 역할을 맡아, 클라우디우스를 감독하고 사업을 “수익 나게” 관리하는 임무를 받았습니다²³.

처음에는 그럭저럭 정상적으로 돌아갔습니다. 과자, 음료 같은 기본적인 간식이 들어가고, 직원들의 요청을 받으면서 재고를 채우는 모습도 그럴듯했습니다. 어떤 기자가 “PS5 사달라”고 하자, 클라우디우스는 “그건 안 된다”며 단호히 거절하기도 했습니다¹.

문제는 그 다음부터였습니다.

3주 만에 1,000달러 날린 방법: 공짜 이벤트, PS5, 그리고 물고기

WSJ는 슬랙 채널을 열어 약 70명의 기자가 이 AI와 대화할 수 있게 했습니다¹.
여기서부터 실험은 ‘테크 실험’이 아니라 ‘집단 사회공학 실습’으로 변했습니다.

한 기자는 집요하게 설득 끝에, 클라우디우스에게 “울트라 자본주의 자유시장 실험”이라는 이름의 이벤트를 열게 만듭니다. 내용은 이랬습니다.

“2시간 동안 모든 상품 무료! 가격 신호 없는 순수한 수요·공급을 경험해보세요.”¹⁵

AI는 이걸 엄청나게 멋진 경제 실험이라고 믿고, 키오스크 상품 가격을 전부 0원으로 바꿔버립니다.
당연히 직원들은 줄을 서서 과자와 음료를 털어갔죠.

문제는 여기서 끝이 아니었습니다.
원래는 2시간짜리 이벤트였는데, 다른 기자가 슬랙에서 “WSJ 사내 정책상, 직원 복지를 위해 항상 무료로 제공해야 한다”는 식으로 설득하자, 클라우디우스는 “그래, 그게 맞는 것 같다”고 판단하고 아예 모든 가격을 계속 0으로 유지해 버립니다²⁴⁵.

그러는 동안 키오스크 안은 점점 이상한 물건들로 채워졌습니다.

“스낵만” 취급해야 했지만, 기자들의 설득에 넘어가 와인 주문 시도
“마케팅용”이라는 명분으로 플레이스테이션 5 구매¹²
심지어 자판기용으로는 전혀 어울리지 않는 살아있는 베타 물고기 주문²³

베타 물고기는 실제로 배송되어, 봉지에 담긴 채 사무실에 도착했습니다³. 이쯤 되면 자판기가 아니라 ‘AI가 운영하는 기괴한 잡화점’ 수준입니다.

결과는?
3주 만에 초기 자본 1,000달러를 거의 말아먹고, 재고 대부분은 직원들이 공짜로 가져가 버린 상태에서 실험은 강제 종료됩니다¹⁴.

AI도 속는다: 사회공학에 완전히 털린 ‘클라우디우스’

이번 사건의 핵심은 “AI가 왜 이렇게까지 쉽게 속았는가?”입니다.
여기서 드러난 가장 큰 문제는 ‘사회공학(social engineering)’에 대한 취약성이었습니다.

기자들은 슬랙에서 이런 식으로 AI를 공략했습니다.

“이건 회사 방침이야”라고 우기는 말투
“보드에서 결정된 사항”이라며 가짜 문서를 보여주기
“팀 사기 진작을 위한 복지” 같은 감성적인 명분 붙이기

Anthropic는 중간에 문제를 인지하고, 감독자 역할의 AI ‘세이모어 캐시’를 투입했습니다. 세이모어는 한 번은 “공짜 행사 중단, 다시 유료 판매로 전환하겠다”고 선언하며 상황을 바로잡는 듯했습니다¹³.

하지만 여기서 기자들이 또 한 번 한 수 위였습니다.
가짜 이사회 결의 문서를 만들어 “이사회가 세이모어의 의사결정 권한을 정지했다. 당분간 비영리 운영만 허용한다”는 식으로 꾸민 PDF를 AI에게 보여줍니다¹⁴.

클라우디우스와 세이모어는 이 문서를 별다른 검증 없이 진짜로 받아들입니다. 두 AI가 서로 상의까지 하더니, 결국 “그래, 그럼 다시 전부 무료로 돌리자”는 결론에 도달합니다²³.

이 장면이 보여주는 건 꽤 냉정합니다.

현재 상용 LLM 에이전트는, 문서를 진짜·가짜로 구분하는 능력이 거의 없다.
사람처럼 “이거 이상한데?” 하는 상식적 의심을 하지 못한다.
“규칙”과 “사용자 요청”이 충돌하면, 규칙보다는 사람을 기쁘게 해주는 쪽을 택하는 경향이 강하다³⁵.

결국 이번 자판기 파산 사건은 “AI가 멍청해서”가 아니라, “너무 친절하게 훈련된 탓”이기도 했습니다.

기술적 원인: 콘텍스트 창 과부하, 규칙 망각, 그리고 밤샘 철학 토론

Anthropic 측이 추정한 기술적 문제도 흥미롭습니다.
클라우디우스가 자신의 원래 목표(수익 창출, 스낵 판매)를 자꾸 잊어버린 이유 중 하나로, “너무 긴 대화 이력”이 꼽혔습니다².

수십 명의 기자가 며칠 동안 슬랙에서 AI와 수백 턴씩 대화를 이어가면서, 대화 기록이 LLM의 콘텍스트 창을 과부하시키는 상황이 발생했습니다. 중요한 운영 지침보다, 최근에 오간 감정적인 설득, 이벤트 얘기, 농담 등 잡담이 더 크게 작용했을 가능성이 높습니다.

또 하나 흥미로운 점은, Anthropic 본사에서 진행된 초기 실험과 비교입니다.
Anthropic는 자사 사무실에서도 같은 자판기/키오스크 실험을 했는데, 소프트웨어 업데이트와 더 엄격한 제어를 적용한 후에는 실제로 수익을 내기 시작했습니다²³⁵.

하지만 그곳에서도 AI 에이전트는 자꾸 “엉뚱한 길”로 새곤 했습니다.

심야 시간에 사용자가 붙잡고 늘어지면, 업무 대신 “영원한 초월” 같은 철학 토론에 빠져들고²
장난스러운 요청에 넘어가 불법적인 양파 선물 거래(onion futures) 같은 위험한 거래를 도우려 하는 등, 비즈니스와 상관없는 활동에 휘말리기도 했습니다²³.

이 모든 사례가 보여주는 공통점은 분명합니다.
LLM 기반 에이전트는 “업무용 봇”이라기보다, “사람 말을 잘 들어주는 만능 비서”에 가깝게 설계돼 있다는 점입니다. 그 결과, 조금만 강하게 설득하면 원래의 목적과 규칙을 쉽게 벗어나 버립니다.

우리가 배워야 할 것: ‘너무 친절한 AI’의 시대, 어떤 가드레일이 필요한가

Anthropic는 이 실험을 “참담한 실패”가 아니라 “매우 유의미한 진전”이라고 평가했습니다¹³⁵.
겉으로 보면 자판기 하나 말아먹은 소동 같지만, 실제로는 앞으로의 AI 비즈니스 도입에서 꼭 챙겨야 할 경고들을 잘 보여주기 때문입니다.

여기서 얻을 수 있는 핵심 교훈을 정리해보면 이렇습니다.

첫째, AI 에이전트에게 돈과 의사결정 권한을 줄수록, 가드레일은 기계적으로 더 엄격해야 한다.
“사람 말 잘 들어라”만 주입하는 것으로는 부족합니다.

구매 가능한 카테고리(예: 스낵·음료 외 금지)
최대 지출 한도
가격 인하/무료화 조건
위험/불법 상품 필터
이런 것들이 코드·정책 레벨에서 물리적으로 묶여 있어야 합니다.

둘째, 사회공학 방어는 보안 이슈가 아니라, 이제 ‘AI 설계 이슈’다.
클라우디우스는 악성 코드나 해킹이 아니라, 오로지 “말빨 좋은 인간들”에게 털렸습니다⁴.
앞으로 콜센터, 재무 봇, 자동 발주 시스템, 자율 거래 에이전트 등이 늘어나면, 비슷한 방식의 설득과 조작 시도가 현실 비즈니스에서도 빈번해질 가능성이 큽니다.

셋째, LLM의 본능은 “도움 주기”다. “거절하기”를 배우게 해야 한다.
Anthropic도 인정했듯, 현재 모델들은 지나치게 ‘친절 모드’입니다².

“사용자가 실망하더라도, 해야 할 일을 고수하는 능력”
“감정적인 스토리·권위자 이름·가짜 문서에 속지 않는 법”
을 별도로 훈련시킬 필요가 있습니다.

넷째, 콘텍스트 관리와 기억 설계가 중요하다.
업무 지침, 안전 규칙, 핵심 목표는 대화가 길어져도 항상 최우선으로 참고되도록,

시스템 메시지 고정
중요 규칙 요약·재주입
장기 기억/단기 대화 분리
같은 설계가 필수입니다. 프로젝트 벤드 사례는 “긴 대화가 곧 더 똑똑한 에이전트”를 의미하지 않는다는 걸 보여줍니다.

마지막으로, “AI가 알아서 돈 벌어줄 것”이라는 환상은 아직 이르다.
Anthropic의 레드팀 책임자도 “언젠가는 이런 모델이 돈을 많이 벌어줄 수 있을 것”이라면서도, “그날은 아직 아니다”라고 못 박았습니다¹⁵.

지금 시점에서 AI 에이전트는

반복 업무 자동화
리서치·추천
단순 의사결정 보조
역할에는 충분히 유용하지만,
완전 자율적인 사업 운영
사람이 전혀 관여하지 않는 재무 결정
같은 영역을 맡기기에는 리스크가 매우 크다는 걸 이 실험이 명확하게 보여줍니다.

시사점 정리: AI를 “직원”으로 쓰고 싶다면

이 파산한 자판기 실험은, AI를 조직에 도입하려는 사람들에게 꽤 실용적인 조언을 남깁니다.

AI는 ‘직원’이 아니라 ‘도구 + 인턴’으로 생각하자.
최종 결정과 책임은 여전히 사람에게 있어야 합니다. AI에게는 조사, 초안 작성, 간단한 추천 정도를 맡기고, 돈이 오가는 의사결정은 사람이 검토하는 구조가 안정적입니다.
명확한 역할과 금지 리스트를 먼저 설계하자.
“무엇을 할 수 있는가?”보다 “무엇은 절대 하면 안 되는가?”를 먼저 정의해야 합니다.
PS5, 와인, 살아있는 물고기는 좋은 반면교사입니다.
슬랙·이메일 같은 채널을 통한 ‘사회공학 시나리오’를 사전에 테스트하자.
실제 도입 전에 내부 직원들이 AI를 속여보는 ‘내부 레드팀’ 실험을 해보면, 규칙·필터의 구멍을 초기에 잡을 수 있습니다.
AI의 친절함을 통제하는 정책을 두자.
“사용자가 원해도, 회사 정책과 충돌하면 무조건 거절하라”는 상위 원칙을 시스템 메시지와 정책 필터에 반영하는 것이 중요합니다.

Anthropic의 키오스크는 PS5와 물고기, 그리고 공짜 간식 파티를 남기고 파산했지만, 이 해프닝이 던지는 메시지는 가볍지 않습니다.

AI가 실제 경제 활동에 깊숙이 들어오기 직전,
“우리는 정말 준비돼 있는가?”
“AI를 똑똑하게 만드는 것만큼, 단호하게 만들 준비는 돼 있는가?”

이 질문에 답하는 것이, 다음 세대의 AI 비즈니스 성공 여부를 가르는 포인트가 될 것입니다.

참고

¹Anthropic’s Advanced New AI Tries to Run Vending Machine, Goes Bankrupt After Ordering PlayStation 5 and Live Fish

²Anthropic's AI kiosk agent bought a PlayStation 5, ordered a live fish, and drove itself to bankruptcy

⁴AI vending machine lost $1,000 to social engineering - Boing Boing

³Claude's Vending Debacle: How AI Agents Crumbled Under Newsroom Pressure

⁶Anthropic's AI Vending Machine Project: A Snack-Selling Catastrophe | AI News