생성형 AI의 진화와 비즈니스 내재화

챗봇에서 시작했지만, 챗봇으로 끝나지 않는다

생성형 AI의 첫인상은 대개 채팅창이었다. 질문을 입력하면 그럴듯한 답이 돌아오고, 이메일 초안을 부탁하면 몇 초 만에 문장이 만들어졌다. 보고서 요약, 블로그 글쓰기, 이미지 생성, 코드 작성까지 해내는 모습을 보며 많은 사람은 "이제 콘텐츠 제작이 쉬워졌구나"라고 생각했다.

하지만 기업의 관점에서 보면 이것은 시작에 불과했다. 생성형 AI의 진짜 변화는 채팅창 안에서 벌어지는 것이 아니라, 채팅창이 사라지는 순간부터 시작된다. 직원이 별도의 AI 앱을 열지 않아도 CRM 화면에서 고객 이력이 요약되고, 티켓 시스템에서 답변 초안이 자동으로 뜨며, ERP에서 이상 비용 항목을 설명해 주고, 협업 도구 안에서 회의 내용이 다음 행동으로 바뀐다. AI가 '새로운 앱'으로 등장하는 단계를 지나, 기존 업무 화면 안에 조용히 스며드는 것이다.

이 장에서 다루는 핵심은 바로 이 전환이다. 생성형 AI는 더 이상 신기한 챗봇이나 콘텐츠 제작 도구에 머물지 않는다. 조직의 문서, 고객, 지식, 운영 흐름 위에 얹히는 새로운 비즈니스 레이어가 되고 있다. 이 레이어는 직원이 정보를 찾고, 판단하고, 작성하고, 협업하고, 고객에게 응답하는 방식을 바꾼다. 한마디로 말해, 생성형 AI는 '일을 도와주는 도구'에서 '일이 흘러가는 방식'으로 진화하고 있다.

생성형 AI는 범용 생산성 엔진이 되고 있다

전통적인 AI는 대체로 좁은 문제를 잘 푸는 기술이었다. 예를 들어 "이 고객이 이탈할 가능성이 높은가?", "이 거래가 사기일 확률은 얼마인가?", "다음 달 수요는 어느 정도인가?" 같은 질문에 답했다. 물론 이런 예측 AI도 강력했다. 그러나 대개 특정 부서, 특정 데이터, 특정 모델에 묶여 있었다.

생성형 AI는 다르다. 텍스트를 만들고, 이미지를 그리고, 음성을 합성하고, 영상을 편집하고, 코드를 작성한다. 더 중요한 것은 사람이 자연어로 지시할 수 있다는 점이다. 자연어란 우리가 일상에서 쓰는 말이다. "지난 분기 고객 불만을 요약해 줘", "이 상품을 20대 고객에게 맞게 설명해 줘", "이 계약서에서 위험 조항을 찾아 줘"라고 말하면 AI가 결과물을 만든다.

이 능력 때문에 생성형 AI는 특정 부서의 전용 솔루션이 아니라 여러 업무 흐름에 연결되는 범용 생산성 엔진으로 확장된다. 마케팅팀은 캠페인 아이디어와 광고 문구를 빠르게 실험한다. 고객지원팀은 문의를 분류하고 답변 초안을 만든다. HR팀은 채용 공고, 온보딩 문서, 평가 피드백 문장을 다듬는다. 재무팀은 긴 보고서와 규제 문서에서 핵심을 추출한다. 데이터 분석가는 SQL을 직접 쓰지 않는 현업 직원도 자연어로 데이터를 질의할 수 있게 돕는다. 개발자는 코드 작성, 테스트 생성, 오류 설명에서 도움을 받는다.

이때 중요한 변화는 '무엇을 생성하느냐'보다 '어디에 연결되느냐'다. 같은 문장 생성 기능이라도 블로그 초안을 쓰는 데 쓰이면 콘텐츠 도구이고, 고객 티켓 처리 시스템에 연결되면 서비스 운영 도구가 된다. 같은 요약 기능이라도 개인이 긴 글을 읽는 데 쓰이면 독서 보조 도구이고, 사내 지식관리 시스템에 연결되면 조직 전체의 지식 접근 방식을 바꾸는 인프라가 된다.

그래서 생성형 AI의 확산을 단순히 "AI가 글을 잘 쓴다"로 이해하면 흐름을 놓치게 된다. 기업에서 생성형 AI는 작성, 요약, 분류, 추천, 검색, 번역, 코드 생성, 문서 검토 같은 기능을 각 업무의 빈틈에 끼워 넣는 방식으로 퍼지고 있다. 직원은 자신이 AI를 '사용한다'고 느끼지 않을 수도 있다. 그저 업무 시스템이 조금 더 똑똑해졌다고 느낄 뿐이다.

경제적 잠재력은 크지만, 산발적 사용은 ROI를 만들지 못한다

생성형 AI의 경제적 잠재력은 매우 크게 평가된다. McKinsey Global Institute는 생성형 AI가 세계 경제에 연간 2조 6천억 달러에서 4조 4천억 달러 규모의 가치를 더할 수 있다고 추정했다.¹ 이 숫자는 기술 업계의 과장된 구호라기보다, 기업 활동의 매우 넓은 영역에서 지식 노동의 생산성이 바뀔 수 있다는 기대를 반영한다. 물론 '잠재 가치'는 실제 이익과 다르다. 중요한 것은 이 가능성을 어떤 업무 흐름에서 실현하느냐다.

많은 기업이 초기에 겪는 문제는 바로 이 지점에서 생긴다. 직원들은 이미 AI를 쓰고 있다. 누군가는 보고서 초안을 만들고, 누군가는 이메일을 다듬고, 누군가는 회의록을 요약한다. 그런데 경영진이 묻는다. "그래서 얼마를 벌었나? 비용은 얼마나 줄었나? 고객 만족도는 얼마나 좋아졌나?" 이 질문에 답하기가 쉽지 않다.

개인이 챗봇을 산발적으로 쓰는 방식은 편리하지만 측정하기 어렵다. 어떤 직원은 하루에 30분을 절약했을 수 있고, 어떤 직원은 오히려 AI 답변을 검토하느라 시간을 더 썼을 수도 있다. 어떤 문서는 품질이 좋아졌지만, 어떤 문서는 그럴듯한 오류를 포함했을 수 있다. 이 상태에서는 ROI, 즉 투자 대비 수익을 명확히 계산하기 어렵다.

따라서 기업의 질문은 "어디에 AI를 붙일까?"에서 "어떤 업무 흐름이 AI를 붙였을 때 측정 가능한 성과를 낼까?"로 바뀌어야 한다. 생성형 AI 도입의 첫 단추는 기술 선택이 아니라 사용 사례 선별이다. 좋은 사용 사례는 멋있어 보이는 일이 아니라, 반복되고, 시간이 많이 들고, 오류 비용이 존재하며, 데이터 접근이 가능하고, 성과 지표가 분명한 일이다.

예를 들어 고객지원 답변 초안은 좋은 출발점이 될 수 있다. 문의가 반복적으로 들어오고, 기존 FAQ와 상담 이력이 있으며, 응답 시간과 해결률 같은 지표가 명확하기 때문이다. 계약서 1차 검토도 가능성이 크다. 문서량이 많고, 사람이 놓치면 비용이 큰 조항이 있으며, 검토 시간 절감 효과를 측정할 수 있다. 반면 "우리 회사의 모든 창의적 아이디어를 AI로 혁신하자" 같은 목표는 멋있게 들리지만, 초기에 성과를 측정하기 어렵다.

사용 사례를 고를 때는 다음 요소를 함께 봐야 한다.

• 반복 빈도: 같은 유형의 업무가 얼마나 자주 발생하는가.

• 업무량: 사람이 쓰는 시간이 충분히 커서 자동화나 보조의 효과가 의미 있는가.

• 오류 비용: 잘못 처리했을 때 고객 불만, 규제 위반, 매출 손실 같은 비용이 발생하는가.

• 데이터 접근성: AI가 참고할 수 있는 문서, 이력, 지식, 로그가 정리되어 있는가.

• 성과 지표: 시간 절감, 비용 절감, 전환율, 만족도, 품질 점수처럼 측정 가능한 기준이 있는가.

이 기준으로 보면 생성형 AI의 첫 성공 사례는 대개 화려한 미래형 서비스가 아니라 지루하고 반복적인 업무에서 나온다. 매일 수백 건씩 들어오는 문의, 매주 작성하는 보고서, 매월 반복되는 정산 검토, 수시로 발생하는 내부 정책 질문 같은 것들이다. 기업에서 돈을 버는 AI는 종종 가장 지루한 일을 가장 꾸준히 잘 처리하는 AI다.

내재화의 핵심은 '새 앱'이 아니라 '기존 흐름'이다

기업이 새로운 기술을 도입할 때 흔히 저지르는 실수는 또 하나의 앱을 추가하는 것이다. 직원은 이미 너무 많은 도구를 쓰고 있다. 이메일, 메신저, 문서 도구, 일정 관리, CRM, ERP, 프로젝트 관리, 티켓팅 시스템, 데이터 대시보드까지 하루에도 수십 번 화면을 오간다. 여기에 "이제 AI 앱도 하나 더 쓰세요"라고 말하면 처음에는 관심을 보일지 몰라도 오래가지 않는다.

생성형 AI의 내재화는 반대 방향으로 가야 한다. 직원이 기존 화면과 프로세스를 벗어나지 않고 AI를 쓰게 만들어야 한다. 고객 상담원은 상담 시스템 안에서 AI 도움을 받아야 한다. 영업 담당자는 CRM 안에서 다음 연락 문구와 제안서 초안을 받아야 한다. 구매 담당자는 공급망 관리 화면 안에서 위험 신호와 대체 공급처 제안을 봐야 한다. 개발자는 통합 개발 환경 안에서 코드 제안을 받아야 한다.

이것이 내재화다. AI가 별도의 목적지가 아니라 업무가 지나가는 길목에 놓이는 것이다.

예를 들어 CRM을 보자. 예전의 CRM은 고객 정보 저장소에 가까웠다. 누가 언제 연락했고, 어떤 상품을 샀고, 어떤 불만이 있었는지 기록했다. 생성형 AI가 내재화된 CRM은 단순 저장소를 넘어선다. 고객의 최근 상호작용을 요약하고, 미팅 전에 핵심 이슈를 정리하며, 고객별 관심사에 맞춘 이메일 초안을 만들고, 다음 영업 행동을 추천한다. 직원은 CRM을 더 오래 들여다보는 것이 아니라, 더 짧은 시간에 더 나은 판단을 한다.

티켓팅 시스템도 마찬가지다. 고객 문의가 들어오면 AI가 유형을 분류하고, 긴 대화 이력을 요약하고, 관련 지식 문서를 찾아주고, 답변 초안을 작성한다. 상담원은 처음부터 모든 문장을 쓰는 사람이 아니라, AI가 만든 초안을 검토하고 맥락에 맞게 조정하는 사람이 된다. 이 변화는 상담원을 대체하는 것이 아니라 상담원의 역할을 바꾼다. 단순 반복 답변은 줄고, 복잡한 감정 처리와 예외 판단의 비중이 커진다.

ERP와 공급망 시스템에서는 AI가 숫자와 문서 사이를 연결한다. 재고 부족, 납기 지연, 비용 급증 같은 신호가 발생했을 때 단순히 빨간색 경고를 띄우는 데서 끝나지 않는다. 왜 그런 일이 생겼는지 설명하고, 관련 주문과 공급업체 이력을 요약하며, 담당자가 취할 수 있는 선택지를 제안한다. 이때 AI는 '답변하는 챗봇'이 아니라 운영 판단의 보조 장치가 된다.

MIT Sloan의 논의에서도 생성형 AI를 확장하려면 현대적인 데이터 기반과 기존 시스템과의 연결이 중요하다는 점이 강조된다. 단순히 여러 사용 사례를 돌아다니는 방식으로는 멀리 가기 어렵고, 기업의 디지털 코어와 연결되어야 한다는 것이다.² 결국 승부는 AI 모델 자체보다 AI가 업무 흐름 속 어디에 놓이는지에서 갈린다.

사내 지식과 데이터가 AI의 품질을 결정한다

생성형 AI가 기업 안으로 들어올수록 중요한 질문이 생긴다. "이 AI는 무엇을 알고 답하는가?"

공개된 인터넷 지식만으로 답하는 AI는 일반적인 설명에는 유용하지만, 특정 기업의 실제 업무를 처리하기에는 부족하다. 우리 회사의 가격 정책, 제품 예외 조건, 고객별 계약 내용, 내부 승인 절차, 보안 등급, 과거 장애 이력, 현장 운영 노하우는 공개 웹에 없다. 기업 AI가 쓸모 있어지려면 이런 사내 지식과 연결되어야 한다.

여기서 자주 등장하는 개념이 RAG다. RAG는 Retrieval-Augmented Generation의 약자로, 한국어로는 '검색 증강 생성' 정도로 설명할 수 있다. 쉽게 말해 AI가 머릿속 기억만으로 답하지 않고, 관련 문서를 먼저 찾아본 뒤 그 내용을 바탕으로 답하게 만드는 방식이다. 예를 들어 직원이 "신규 고객 환불 정책이 어떻게 돼?"라고 물으면 AI가 사내 정책 문서, 최근 공지, 예외 규정을 검색한 뒤 답변한다.

이 방식은 기업 환경에서 중요하다. 생성형 AI는 그럴듯하지만 틀린 답을 만들 수 있다. 이를 흔히 환각, 즉 hallucination이라고 부른다. AI가 사실을 모르는 상태에서 자신감 있게 문장을 만들어내는 현상이다. 사내 문서와 연결된 RAG 구조는 이런 위험을 줄이는 데 도움을 준다. 물론 완전히 없애지는 못한다. 그래서 중요한 업무일수록 출처 표시, 신뢰도 점검, 사람의 검토가 필요하다.

문제는 많은 기업의 데이터가 AI가 곧바로 읽기 좋은 상태가 아니라는 점이다. 문서는 여러 폴더에 흩어져 있고, 같은 정책의 다른 버전이 남아 있으며, 고객 정보는 CRM에 있고 계약서는 문서 저장소에 있고 상담 이력은 별도 시스템에 있다. 데이터는 있지만 연결되어 있지 않다. 지식은 있지만 찾기 어렵다. 기록은 있지만 최신성이 불분명하다.

IBM은 생성형 AI 도입 과정에서 목표 정의, 사용 사례 구체화, 데이터 자산 평가, 모델 선택, 검증, 배포, 확장으로 이어지는 단계적 접근을 강조한다.³ 이 흐름이 말해주는 것은 분명하다. 생성형 AI 프로젝트는 모델을 고르는 일로 시작하는 것처럼 보이지만, 실제로는 데이터와 업무 맥락을 정리하는 일에서 성패가 갈린다.

기업은 생성형 AI를 도입하면서 묵혀 있던 질문을 다시 마주하게 된다. 우리 회사의 핵심 지식은 어디에 있는가? 누가 어떤 문서에 접근할 수 있는가? 오래된 문서와 최신 문서를 어떻게 구분하는가? 고객 데이터는 어떤 목적으로 사용할 수 있는가? 답변의 근거는 어떻게 남길 것인가? 이런 질문에 답하지 못하면 AI는 똑똑한 척하는 검색창에 머문다.

파일럿은 시작일 뿐, 운영 체계가 본게임이다

생성형 AI 도입에서 가장 위험한 단어 중 하나는 "파일럿 성공"이다. 물론 파일럿은 필요하다. 작은 범위에서 실험하고, 기술 가능성을 확인하고, 사용자 반응을 살피는 과정은 중요하다. 그러나 파일럿이 성공했다고 해서 기업 도입이 끝나는 것은 아니다. 오히려 그때부터 어려운 일이 시작된다.

파일럿은 대개 제한된 데이터, 제한된 사용자, 제한된 위험 안에서 진행된다. 몇 명의 열성적인 직원이 참여하고, 문제가 생기면 프로젝트팀이 즉시 대응한다. 하지만 운영 환경은 다르다. 수백 명, 수천 명이 사용한다. 고객 데이터와 민감 정보가 오간다. 권한이 다른 직원들이 같은 시스템을 쓴다. 모델 비용이 누적된다. 오류가 실제 고객 경험과 재무 성과에 영향을 미친다.

따라서 생성형 AI를 비즈니스에 내재화하려면 운영 체계가 필요하다. 여기에는 데이터 거버넌스, 보안, 권한 관리, 모델 선택, 프롬프트와 워크플로 설계, 품질 평가, 사람의 검토 절차, 변화관리까지 포함된다. 거버넌스란 어렵게 들리지만, 쉽게 말하면 "누가, 어떤 기준으로, 어떤 책임을 지고 AI를 쓰게 할 것인가"를 정하는 일이다.

특히 권한 관리는 기업 AI의 핵심이다. AI가 사내 문서를 검색해 답변한다면, 사용자가 볼 수 없는 문서는 AI도 보여주면 안 된다. 인사팀만 볼 수 있는 평가 자료, 법무팀만 다루는 계약 협상 내용, 특정 프로젝트 구성원에게만 공개된 기술 문서가 AI 답변을 통해 새어 나가면 큰 문제가 된다. 그래서 기업용 AI는 기존 시스템의 접근 권한을 그대로 반영해야 한다. AI가 만능 비서가 되는 만큼, 보안도 기본 설계에 포함되어야 한다.

모델 선택도 단순하지 않다. 모든 업무에 가장 크고 비싼 모델이 필요한 것은 아니다. 사내 문서 요약에는 중간 규모 모델로 충분할 수 있고, 복잡한 법률 검토나 고난도 분석에는 더 강한 모델이 필요할 수 있다. 민감한 데이터는 외부 API가 아니라 사내 또는 전용 클라우드 환경에서 처리해야 할 수도 있다. 모델 경제학은 다음 장에서 더 깊게 다루겠지만, 이미 여기서 중요한 원칙이 보인다. AI의 성능뿐 아니라 비용, 지연 시간, 보안, 유지보수 가능성을 함께 봐야 한다.

AWS는 기업이 생성형 AI를 운영할 때 중앙집중형, 분산형, 연합형 같은 운영 모델을 선택할 수 있다고 설명한다. 중앙팀이 강하게 통제하면 거버넌스는 안정적이지만 속도가 느려질 수 있고, 각 사업부가 자율적으로 움직이면 빠르지만 표준화가 어려워질 수 있다. 연합형은 중앙 플랫폼팀이 공통 가드레일과 인프라를 제공하고, 각 사업부가 자기 업무에 맞는 사용 사례를 추진하는 절충 방식이다.⁴ 많은 대기업은 결국 이 연합형에 가까운 구조로 이동하게 된다.

이 단계에서 생성형 AI는 실험적 도구가 아니라 업무 표준을 바꾸는 비즈니스 레이어가 된다. 표준 이메일 문구, 고객 응대 품질 기준, 문서 작성 방식, 승인 전 검토 절차, 보고서 생성 방식이 AI를 전제로 재설계된다. 사람은 더 이상 빈 화면에서 시작하지 않는다. AI가 초안을 만들고, 사람은 판단하고, 수정하고, 책임진다.

하이퍼 개인화는 고객 경험을 실시간으로 다시 쓴다

생성형 AI가 비즈니스에 내재화될 때 가장 눈에 띄는 변화 중 하나는 하이퍼 개인화다. 기존의 개인화는 주로 추천이었다. "이 상품을 본 고객은 저 상품도 봤습니다", "당신에게 맞는 콘텐츠입니다" 같은 방식이다. 물론 이것도 강력했지만, 미리 준비된 상품이나 콘텐츠를 잘 골라 보여주는 데 가까웠다.

생성형 AI가 만드는 개인화는 한 단계 더 나아간다. 고객의 맥락, 이력, 목표에 맞춰 문장과 설명과 제안 자체를 그 자리에서 생성한다. 같은 상품이라도 초보 고객에게는 쉽게 설명하고, 전문가에게는 세부 사양 중심으로 설명한다. 같은 금융 상품이라도 은퇴를 준비하는 고객과 첫 투자를 시작하는 고객에게 다른 방식으로 안내한다. 같은 교육 과정이라도 학습자의 수준과 목표에 따라 다른 학습 경로와 피드백을 제공한다.

커머스에서는 상품 설명이 바뀐다. 고객이 과거에 친환경 제품을 자주 구매했다면 지속가능성 정보를 앞세우고, 가격 민감도가 높다면 할인과 총비용을 강조할 수 있다. B2B 영업에서는 제안서가 바뀐다. 고객사의 산업, 최근 이슈, 기존 도입 시스템, 의사결정자의 관심사를 반영한 초안이 만들어진다. 고객지원에서는 답변이 바뀐다. 단순 FAQ 복사가 아니라 고객의 구매 이력, 이전 문의, 현재 감정 상태를 고려한 응답이 가능해진다.

Capgemini는 생성형 AI와 에이전틱 AI가 공급망, 재무, 고객 서비스, 인사 운영 등에서 실제 운영 성과를 만들고 있으며, 조사 대상 조직들이 평균 1.7배의 ROI와 여러 기능 영역에서 26~31% 수준의 비용 절감 효과를 보고했다고 분석했다.⁵ 이런 수치는 산업과 조직 성숙도에 따라 달라질 수 있지만, 개인화가 단순히 마케팅의 기술이 아니라 운영 효율과 고객 경험을 동시에 바꾸는 축이 되고 있음을 보여준다.

다만 하이퍼 개인화에는 조심해야 할 지점도 있다. 고객은 개인화된 경험을 좋아하지만, 감시당한다고 느끼는 순간 거부감을 갖는다. "나를 잘 이해한다"와 "나를 너무 많이 알고 있다" 사이에는 얇은 선이 있다. 따라서 기업은 어떤 데이터를 왜 사용하는지 명확히 해야 하고, 민감한 정보는 보호해야 하며, 고객이 통제권을 가질 수 있도록 해야 한다. 개인화는 신뢰 위에서 작동할 때만 장기적인 경쟁력이 된다.

업무는 자동화되는 것이 아니라 재설계된다

생성형 AI를 둘러싼 논의는 자주 "사람을 대체할 것인가?"라는 질문으로 흐른다. 그러나 기업 현장에서 더 중요한 질문은 "업무가 어떻게 재설계될 것인가?"다. 대부분의 지식 노동은 하나의 큰 덩어리가 아니다. 정보 수집, 초안 작성, 검토, 판단, 승인, 전달, 기록 같은 작은 단계들의 묶음이다. 생성형 AI는 이 단계들 중 일부를 빠르게 바꾼다.

예를 들어 보고서 작성 업무를 보자. 과거에는 사람이 자료를 찾고, 숫자를 정리하고, 문장을 쓰고, 상사에게 보고했다. AI가 들어오면 자료 검색과 1차 요약, 초안 작성은 AI가 맡을 수 있다. 하지만 어떤 메시지를 강조할지, 어떤 리스크를 숨기지 않고 드러낼지, 어떤 의사결정을 요청할지는 여전히 사람의 판단이 필요하다. 즉 보고서 작성자는 문장 생산자에서 해석과 책임의 주체로 이동한다.

고객지원도 비슷하다. AI가 반복 문의를 처리하고 답변 초안을 제공하면 상담원의 일은 줄어드는 동시에 어려워진다. 단순 문의는 AI가 가져가고, 사람에게 남는 것은 감정적으로 민감하거나 규정상 예외가 필요하거나 여러 부서의 조율이 필요한 문제다. 그래서 AI 도입은 단순 인력 감축 계획으로 접근하면 실패하기 쉽다. 역할, 교육, 평가 기준, 업무량 배분을 함께 바꿔야 한다.

MIT Sloan의 전문가들은 생성형 AI를 인간 업무의 보강, 즉 augmentation 관점에서 볼 필요가 있다고 강조한다. AI가 사람을 완전히 대체하는 것보다 사람의 흐름을 보완하고, 동시에 사람이 중요한 지점에서 감독하는 구조가 중요하다는 것이다.² 특히 생성형 AI는 확률적으로 답을 만드는 기술이기 때문에, 높은 위험이 따르는 업무에서는 사람의 검토가 필수다.

이 변화는 관리자에게도 새로운 과제를 준다. 이전의 관리자는 누가 얼마나 많은 문서를 작성했는지, 얼마나 빨리 답변했는지, 얼마나 많은 코드를 썼는지를 봤다. AI가 초안을 대량으로 만드는 시대에는 산출량만으로 성과를 판단하기 어렵다. 대신 질문의 품질, 검토의 정확성, 맥락 판단, 고객 이해, AI 결과를 업무 성과로 연결하는 능력이 중요해진다.

기업은 AI 도입이 아니라 AI 흡수를 준비해야 한다

생성형 AI의 비즈니스 내재화를 이해하는 데 가장 적절한 표현은 '도입'보다 '흡수'에 가깝다. 도입은 외부 도구 하나를 가져오는 느낌이다. 흡수는 조직의 일하는 방식 안으로 녹아드는 느낌이다. 생성형 AI는 바로 이 흡수의 과정을 거치고 있다.

처음에는 개인이 챗봇을 쓴다. 다음에는 팀이 특정 업무에 AI를 붙인다. 그다음에는 회사가 공통 플랫폼과 거버넌스를 만든다. 마지막에는 AI가 ERP, CRM, 협업 도구, 데이터 플랫폼, 지식관리 시스템에 녹아들어 업무 표준의 일부가 된다. 이 단계에 이르면 직원은 "AI 프로젝트를 한다"고 말하지 않는다. 그냥 일을 하는데, 그 일의 기본 방식 안에 AI가 들어 있을 뿐이다.

기업이 이 흐름에 올라타기 위해 반드시 거창한 출발을 할 필요는 없다. 오히려 좋은 시작은 구체적이고 작아야 한다. 한 부서의 반복 업무, 한 고객 여정의 병목, 한 문서 흐름의 지연, 한 내부 지식 검색 문제에서 시작할 수 있다. 다만 처음부터 확장 가능성을 염두에 두어야 한다. 데이터 권한, 평가 기준, 비용 구조, 보안 정책, 사용자 교육을 나중에 붙일 장식이 아니라 초기 설계의 일부로 봐야 한다.

생성형 AI는 기업에 세 가지 질문을 던진다. 첫째, 우리 조직에서 반복되지만 가치 있는 업무는 무엇인가. 둘째, 그 업무에 필요한 지식과 데이터는 어디에 있으며 신뢰할 수 있는가. 셋째, AI가 초안을 만들고 사람이 책임지는 새로운 흐름을 어떻게 표준화할 것인가.

이 질문에 답하는 기업은 생성형 AI를 유행처럼 소비하지 않는다. 그들은 AI를 조직의 언어, 문서, 고객 접점, 의사결정 흐름 속으로 흡수한다. 그리고 그때 생성형 AI는 비로소 개별 앱이 아니라 비즈니스 레이어가 된다.

다음 변화는 여기서 한 걸음 더 나아간다. 생성형 AI가 단순히 문장을 만들고 요약하는 수준을 넘어, 더 오래 생각하고 복잡한 문제를 단계적으로 푸는 방향으로 진화하고 있다. 이른바 추론 모델의 부상이다. 동시에 기업은 성능 좋은 모델을 무작정 쓰는 것이 아니라, 비용과 지연 시간과 정확도의 균형을 계산해야 한다. 다음 장에서는 이 변화, 즉 추론 모델과 모델 경제학이 AI 시장의 판을 어떻게 다시 짜고 있는지 살펴본다.

참고

¹McKinsey Global Institute, The economic potential of generative AI: The next productivity frontier

²6 ways businesses can leverage generative AI

³Step-by-step guide: Generative AI for your business

⁴Generative AI operating models in enterprise organizations with Amazon Bedrock

⁵How generative AI and agentic AI redefine business operations