기업 AI 도입의 현재

생성형 AI 열풍은 끝나지 않았다, 다만 질문이 바뀌었다

2023년과 2024년의 생성형 AI 도입은 빠르게 확산됐다. 많은 기업이 임직원에게 AI 도구를 열어 주고, 문서 작성, 회의록 요약, 번역, 코드 작성, 고객 응대 초안 같은 과제를 실험했다. 이전의 AI가 주로 데이터 분석팀이나 개발 조직의 영역이었다면, 생성형 AI는 일반 직원도 바로 써볼 수 있는 도구로 등장했다.

하지만 시간이 지나면서 기업의 질문은 달라졌다. 처음에는 "어떤 AI 도구를 써볼 것인가"가 중심이었다. 이제는 "이것을 어떻게 업무에 확산할 것인가", "실제로 비용, 매출, 고객 경험, 의사결정 품질에 어떤 가치를 만들 것인가"가 더 중요한 질문이 되었다. Deloitte는 2024년 기업의 생성형 AI 도입 흐름이 열광적 실험에서 긍정적 실용주의로 이동하고 있으며, 핵심 과제가 실험과 투자에서 확산과 가치 실현으로 바뀌고 있다고 설명한다.¹

이 변화는 중요하다. AI를 한 번 써보는 것은 쉽다. 개인이 보고서 초안을 만들거나 이메일 문구를 다듬는 것도 어렵지 않다. 그러나 그것이 기업 성과가 되려면 다른 조건이 필요하다. 업무 기준이 있어야 하고, 데이터가 연결되어야 하며, 결과를 검토할 사람이 있어야 한다. 보안과 책임 기준도 있어야 한다. 결국 문제는 AI 도구의 보급률이 아니라 AI가 실제 업무 흐름 안에 얼마나 깊게 들어갔는가이다.

AI 생성 이미지

같은 도구를 써도 성과가 다른 이유

기업 안에서도 AI 활용 수준은 크게 갈린다. 같은 도구를 지급받았는데 어떤 팀은 업무 속도가 눈에 띄게 빨라지고, 어떤 팀은 몇 번 써보다가 멈춘다. 차이는 도구 자체보다 업무 적용 방식에서 나온다.

첫째, 업무 적용 깊이가 다르다. 낮은 수준의 활용은 개인이 필요할 때 AI에게 질문하는 정도에 머문다. 이 경우 성과는 개인 역량에 따라 흩어진다. 반대로 높은 수준의 활용은 AI가 업무 단계에 포함된다. 예를 들어 고객지원팀이 상담 내용을 요약하고, 관련 규정을 검색하고, 답변 초안을 만들고, 상담원이 검토한 뒤 CRM에 기록하는 흐름을 만든다면 AI는 개인 도구가 아니라 업무 프로세스의 일부가 된다.

둘째, 현업 참여도가 다르다. AI 과제가 IT 부서나 혁신 조직만의 실험으로 진행되면 실제 업무의 예외, 판단 기준, 고객 맥락을 반영하기 어렵다. 현업은 "그럴듯하지만 우리 일에는 맞지 않는다"고 느낀다. 성과를 내는 조직은 처음부터 현업 담당자를 설계 과정에 참여시킨다. 어떤 입력이 필요하고, 어떤 결과가 쓸모 있으며, 어느 지점에서 사람이 검토해야 하는지를 현업이 정한다.

셋째, 데이터 접근성이 다르다. 생성형 AI는 일반 지식에는 강하지만 회사 내부의 맥락은 모른다. 최신 가격 정책, 고객 계약 조건, 제품별 예외 규정, 과거 클레임 처리 내역을 모르면 답변은 일반론에 머문다. 사내 문서가 흩어져 있거나 접근 권한이 복잡하거나 최신본이 관리되지 않으면 AI는 업무에 깊이 들어갈 수 없다.

넷째, 보안과 책임 기준의 성숙도가 다르다. 직원들이 어떤 정보를 AI에 넣어도 되는지 모르면 두 가지 일이 벌어진다. 하나는 위험하게 쓰는 것이다. 개인정보나 기밀정보를 외부 도구에 입력한다. 다른 하나는 아예 쓰지 않는 것이다. 문제가 생길까 봐 실험 자체를 피한다. 좋은 기준은 사용을 막는 것이 아니라 안전하게 쓰게 한다. 입력 금지 정보, 승인된 도구, 사람 검토 기준, 로그 관리 원칙이 있어야 활용이 커진다.

왜 많은 기업은 파일럿에서 멈추는가

AI 파일럿은 많다. 그러나 전사 확산으로 이어지는 사례는 상대적으로 적다. 이유는 기술의 가능성이 부족해서가 아니다. 파일럿을 설계하는 방식이 실제 운영과 분리되어 있기 때문이다.

가장 흔한 원인은 기대 효과가 불명확한 것이다. "AI 챗봇을 만들어보자", "보고서 자동화를 해보자"는 과제명만으로는 성과를 판단하기 어렵다. 어떤 업무 시간이 얼마나 줄어야 하는지, 오류율이 얼마나 낮아져야 하는지, 고객 응답 시간이 얼마나 개선되어야 하는지 정하지 않으면 파일럿이 끝나도 성공인지 실패인지 알 수 없다. 결국 데모는 있었지만 의사결정은 남지 않는다.

두 번째 원인은 운영 프로세스와의 미통합이다. AI가 만든 결과물을 직원이 따로 복사해 붙여넣고, 다시 기존 시스템에 입력해야 한다면 업무는 크게 바뀌지 않는다. 오히려 새로운 절차가 하나 더 생길 수 있다. AI가 업무 흐름 안에 들어가려면 기존 시스템, 승인 절차, 문서 양식, 기록 방식과 연결되어야 한다.

세 번째 원인은 품질과 리스크다. 생성형 AI는 그럴듯한 답변을 만들 수 있지만 항상 정확하지는 않다. 법무, 재무, 인사, 고객 안내처럼 책임이 큰 영역에서는 작은 오류도 큰 문제가 된다. 그래서 품질 평가 기준, 근거 확인, 사람 검토, 예외 처리 절차가 필요하다. 이 장치 없이 파일럿을 확산하려 하면 보안팀, 법무팀, 현업 관리자가 제동을 걸 수밖에 없다.

네 번째 원인은 확산을 담당할 조직 체계가 없다는 점이다. 파일럿이 성공해도 누가 운영할지, 예산은 어디서 나올지, 모델과 프롬프트는 누가 관리할지, 사용자 교육은 누가 할지 정해져 있지 않으면 다음 단계로 가지 못한다. AI 파일럿은 프로젝트로 시작할 수 있지만, 확산은 운영 체계가 있어야 가능하다.

실험하는 조직과 업무 흐름에 넣는 조직

성과를 내지 못하는 조직은 AI를 실험한다. 새로운 도구를 빠르게 써보고, 데모를 만들고, 가능성을 발표한다. 이것도 필요하다. 문제는 실험이 업무 변화로 이어지지 않는다는 데 있다. 실험 조직의 질문은 대개 "AI가 이 일을 할 수 있는가"에 머문다.

성과를 내는 조직은 질문을 바꾼다. "이 업무에서 사람은 무엇을 해야 하고, AI는 무엇을 맡아야 하는가", "AI 결과를 누가 검토하고 승인할 것인가", "성과는 어떤 지표로 볼 것인가", "다른 부서에서도 같은 방식으로 쓸 수 있는가"를 묻는다.

예를 들어 영업 제안서 초안 생성 과제를 보자. 실험 수준에서는 AI가 제안서 문장을 잘 쓰는지 확인한다. 그러나 업무 흐름에 넣는 조직은 다르게 접근한다. CRM의 고객 정보, 과거 제안서, 제품 설명, 가격 정책, 경쟁사 대응 자료를 연결한다. AI는 고객 상황에 맞는 제안서 초안을 만든다. 영업 담당자는 고객 맥락과 전략을 보완한다. 팀장은 가격과 리스크를 검토한다. 최종본과 수주 결과는 다시 학습 자료로 축적된다.

이때 가치는 문장 작성 시간 단축에만 있지 않다. 제안 품질이 표준화되고, 신입 영업도 과거 우수 사례를 활용할 수 있으며, 수주와 실패의 패턴이 조직 지식으로 남는다. 이것이 AX 관점의 성과다.

AI 리더 기업이 다르게 관리하는 여섯 축

AI 리더 기업은 특정 도구를 더 많이 쓰는 기업이 아니다. 실험 이후의 운영을 관리하는 기업이다. 특히 다음 여섯 축을 동시에 본다.

첫째, 전략이다. AI 과제가 전사 목표와 연결되어야 한다. 비용 절감이 목표인지, 고객 경험 개선이 목표인지, 매출 성장인지, 리스크 관리인지가 분명해야 한다. 목표가 흐리면 과제도 흩어진다.

둘째, 인재다. AI 전문 인력만으로는 부족하다. 현업 담당자가 AI를 이해해야 하고, 관리자는 AI 결과를 검토할 수 있어야 하며, 리더는 AI 투자의 우선순위를 판단할 수 있어야 한다. 전 직원의 AI 리터러시와 직무별 실습이 필요하다.

셋째, 운영모델이다. 누가 과제를 제안하고, 누가 승인하며, 누가 운영하고, 누가 위험을 관리할지 정해야 한다. 현업, IT, 데이터, 보안, 법무, 경영진의 역할이 분리되어 있으면서도 연결되어야 한다.

넷째, 기술이다. 모델을 선택하는 것만으로는 부족하다. 사내 시스템과 연결할 API, 검색 구조, 권한 관리, 로그, 모니터링, 비용 관리가 필요하다. 파일럿용 구조와 전사 확산용 구조는 다르다.

다섯째, 데이터다. AI가 활용할 문서와 데이터의 위치, 품질, 최신성, 접근 권한이 정리되어야 한다. 많은 기업의 병목은 모델 성능이 아니라 사내 지식의 혼란에서 발생한다.

여섯째, 확산이다. 좋은 파일럿을 한 번 만드는 것보다 중요한 것은 반복 가능한 방식으로 확산하는 것이다. 검증된 프롬프트, 평가 데이터셋, 업무 템플릿, 교육 자료, 리스크 체크리스트가 조직 자산으로 쌓여야 한다.

AI 리더 기업은 고도화된 생성형 AI 과제가 기대에 부합하는지 계속 평가한다. 처음 만든 결과가 좋았는지보다 운영 중에도 품질, 사용률, 비용, 위험, 사업 효과가 유지되는지를 본다. AX는 도입 이벤트가 아니라 지속적인 개선 활동이다.

우리 회사의 병목은 어디에 있는가

AI 실험이 성과로 이어지지 않는다면 도구를 더 추가하기 전에 병목을 찾아야 한다. 다음 질문으로 현재 위치를 점검해볼 수 있다.

• 전략: AI 과제가 전사 목표와 연결되어 있는가, 아니면 부서별 아이디어에 머물러 있는가?

• 인재: 현업 담당자와 관리자가 AI 결과를 검토하고 업무에 적용할 역량을 갖추고 있는가?

• 운영모델: 과제 발굴, 승인, 보안 검토, 운영, 성과 측정의 책임자가 정해져 있는가?

• 기술: AI가 기존 시스템과 연결되어 실제 업무 흐름 안에서 작동하는가?

• 데이터: AI가 참고할 사내 문서와 데이터가 최신 상태로 정리되어 있고 권한에 맞게 접근 가능한가?

• 확산: 파일럿 결과가 다른 팀에서도 재사용할 수 있는 자산으로 남고 있는가?

많은 기업은 AI를 도입하지 않아서 실패하는 것이 아니다. AI를 업무 안에 넣지 못해서 실패한다. 생성형 AI의 가능성은 이미 충분히 확인되었다. 이제 중요한 것은 가능성의 증명이 아니라 가치의 실현이다. AX 전환은 바로 이 지점에서 시작된다. AI 실험을 업무 재설계, 데이터 연결, 책임 있는 운영, 전사 확산으로 바꾸는 기업만이 다음 단계로 나아갈 수 있다.

참고

¹State of Generative AI in the Enterprise | Deloitte Global