Skip to main content
공개 노트

Salesforce의 Agent Albert, 진짜 시험대는 '똑똑함'이 아니라 운영 가능성이다

Views 8약 4분생성형 AI 활용
Summary

Salesforce의 Agent Albert, 진짜 시험대는 '똑똑함'이 아니라 운영 가능성이다

AI 에이전트가 기업용 소프트웨어를 대체할지 여부를 두고 시장이 흔들리는 가운데, Salesforce는 연말 출시 예정인 새 제품 "Agent Albert"로 정면 돌파를 시도하고 있다. Marc Benioff의 메시지는 분명하다. AI가 SaaS를 죽이는 게 아니라, 오히려 Salesforce 같은 플랫폼의 필요성을 더 키운다는 주장이다.1

왜 지금 이 얘기가 중요할까. 이건 신제품 발표 하나의 문제가 아니라, 앞으로 기업이 AI 에이전트를 어떤 기준으로 평가해야 하는지의 문제이기 때문이다. 이제 질문은 "이 에이전트가 똑똑한가?"가 아니라 "현실 업무가 지저분해지는 순간 어디서 깨지는가?"로 바뀌고 있다.

Agent Albert가 보여주는 것: 엔터프라이즈 AI의 병목은 예외 처리다

지금까지 확인된 사실만 보면, Salesforce의 기존 Agentforce는 단순하고 반복적인 작업에서는 성과를 냈다. 예를 들어 Pearson은 고객 문의 자동 해결이 40% 늘었다고 밝혔다.1 하지만 복잡한 요청으로 가면 얘기가 달라진다. Pandora는 고객 요청이 모호할 때 추천 품질이 불안정하다고 전했다.1

이 차이는 아주 중요하다. 기업 업무의 ROI는 "정상 케이스"가 아니라 "예외 케이스"에서 갈린다. 주소 변경, 반품 처리, 할인 승인, 계약 수정, 내부 정책 충돌, 여러 시스템을 넘나드는 작업 같은 것들이다. 데모에서는 대체로 이런 난점이 잘 보이지 않는다. 실제 운영에 들어가면 바로 드러난다.

Salesforce 연구진도 비슷한 문제를 인정한다. 에이전트는 다단계 작업, 긴 추론, 훈련 데이터에 적게 등장한 코너 케이스에서 자주 흔들린다고 설명했다.2 VentureBeat 인터뷰에서도 초기 고객들이 에이전트를 어렵게 배포한 뒤, 작은 변경만 해도 시스템이 깨질까 봐 겁냈다는 대목이 나온다.3

즉, Agent Albert를 볼 때 핵심은 "새 모델이 더 똑똑한가"가 아니다. 더 중요한 건 모호한 요청, 정책 민감 작업, 실패 후 복구 같은 더러운 현실을 견디도록 설계됐는가다.

로그인 자격을 얻으려면: 에이전트는 답변보다 통제가 먼저다

Salesforce의 최근 행보를 보면 회사도 이 문제를 알고 있다. 한쪽에서는 Slack을 사실상 새로운 업무 인터페이스로 밀고 있고,4 다른 쪽에서는 Headless 360, MCP 도구, Agent Script, Testing Center 같은 관리 도구를 내놓고 있다.3 이것은 단순한 기능 확장이 아니다. "대화형 AI"를 "운영 가능한 시스템"으로 바꾸려는 시도에 가깝다.

여기서 봐야 할 체크포인트가 있다.

첫째, 권한이다. 에이전트가 누구 대신 어떤 시스템에 접근하는지 명확해야 한다. 읽기와 쓰기 권한이 뒤섞이면 사고가 난다.

둘째, 감사 추적이다. 왜 그런 결정을 했는지, 어떤 데이터와 규칙을 썼는지 남아야 한다. 그래야 규제 대응도 되고 사후 분석도 된다.

셋째, 사람에게 넘기는 경로다. 고객 요청이 애매하거나 정책 예외가 걸리면 즉시 인간 담당자에게 넘겨야 한다. "끝까지 자율 처리"는 오히려 위험 신호일 수 있다.

넷째, 롤백과 테스트다. Salesforce가 Agent Script와 테스트 도구를 강조하는 이유도 여기에 있다.3 에이전트는 확률적이지만 기업 프로세스는 되돌릴 수 있어야 한다.

반론도 있다. 이런 통제 장치가 많아질수록 에이전트는 덜 유연해지고, 구축 속도도 느려진다. 맞는 말이다. 하지만 엔터프라이즈에서는 유연성보다 책임소재가 더 비싸다. 특히 고객 응대, 재무, 계약, HR처럼 실수 비용이 큰 영역에서는 더 그렇다.

Agent Albert 파일럿 전에 꼭 물어볼 7가지

도입 검토 단계라면, 데모보다 아래 질문을 먼저 던지는 편이 낫다.

  1. 단순 작업이 아니라 모호한 요청에서 성공률이 얼마나 되나?

  2. 실패 유형을 공개할 수 있나? 환각, 잘못된 액션, 누락 중 무엇이 많은가?

  3. 사람에게 넘기는 기준은 무엇인가? 자동 에스컬레이션이 있나?

  4. 어떤 시스템까지 실제로 쓰기 작업이 가능한가? 읽기 전용 연결과 구분해야 한다.

  5. 감사 로그와 재현 가능성은 어느 수준인가?

  6. 정책 변경 후 재테스트는 어떻게 하나?

  7. 성과 측정은 무엇으로 하나? 처리량이 아니라 실제 업무 마찰 감소를 어떻게 증명하나?

Salesforce는 "Agentic Work Unit"이라는 새 지표를 내놨고 최근 분기 24억 AWU, 전년 대비 57% 증가를 제시했다.1 다만 이 수치는 회사가 처음 공개한 자체 지표라 외부 비교가 어렵다.1 이런 숫자는 참고는 되지만, 구매 결정의 기준이 되기엔 아직 이르다.

결국 이 시장의 승자는 가장 똑똑한 에이전트가 아닐 수 있다

앞으로 12~24개월 동안 기업용 AI 에이전트 시장에서 이기는 회사는 아마 "가장 똑똑한" 곳이 아니라 "가장 통제 가능한" 곳일 가능성이 높다. 보안, 컴플라이언스, 시뮬레이션 테스트, 에이전트 간 상호작용 규칙, 결정 로그 같은 요소가 점점 제품 경쟁력의 중심으로 올라오고 있다.235

그래서 Agent Albert를 봐야 할 사람은 단지 Salesforce 고객만이 아니다. CRM, 서비스, 협업, 내부 운영 자동화를 검토하는 팀이라면 모두 같은 질문을 해야 한다. 이 에이전트가 얼마나 자연스럽게 말하는지가 아니라, 실패했을 때 얼마나 안전하게 멈추고, 설명하고, 넘기고, 되돌릴 수 있는지 말이다. 그 기준을 통과하지 못하면, AI 에이전트는 자동화가 아니라 비싼 연극에 그칠 가능성이 크다.

참고

1Salesforce bets on "Agent Albert" to prove AI won't kill enterprise software

2Salesforce AI Research identifies trends shaping agentic AI | CIO

3Salesforce launches Headless 360 to turn its entire platform into infrastructure for AI agents

4Parker Harris Just Told You to Stop Logging into Salesforce - SalesforceDevops.net

5Artificial Intelligence (AI) at Salesforce

이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.

틸노트는 사용자가 AI를 활용해 노트를 쉽게 작성하거나 편집할 수 있는 서비스입니다.

AI 스퀘어 단톡방에 함께해요

AI 활용과 틸노트 사용 팁을 나누는 오픈채팅방입니다. 입장 비밀번호는 tilnote입니다.

참여하기