AI를 쓰는 순간 리스크도 함께 들어온다
AX 전환은 기업의 일하는 방식을 AI 중심으로 바꾸는 일이다. 따라서 AI가 더 많은 업무에 들어갈수록 리스크도 더 깊은 곳으로 들어온다. 개인이 문서 초안을 만드는 수준에서는 작은 오류로 끝날 수 있다. 하지만 AI가 고객 응대, 채용, 심사, 재무 분석, 법무 검토, 영업 제안, 경영 보고에 연결되면 이야기가 달라진다.
AI의 답변이 틀렸는데 그대로 보고서에 들어갈 수 있다. 고객 정보가 외부 서비스에 입력될 수 있다. 생성된 이미지나 문구가 저작권 문제를 일으킬 수 있다. 채용 지원자를 평가하는 모델이 특정 집단에 불리하게 작동할 수 있다. 자동화된 상담 시스템이 예외 상황을 제대로 처리하지 못해 고객 불만을 키울 수도 있다.
그래서 AX 리스크 관리는 AI 사용을 막기 위한 장치가 아니다. 오히려 AI를 지속적으로 쓰기 위한 조건이다. 리스크를 모르는 조직은 처음에는 빠르게 움직이는 것처럼 보인다. 그러나 작은 사고가 반복되면 현업은 AI를 믿지 않게 되고, 법무·보안·감사 부서는 사용을 제한하려 한다. 결국 AX는 확산되지 못한다.
좋은 AX 조직은 "AI로 무엇을 할 수 있는가"만 묻지 않는다. 동시에 "어디까지 맡길 수 있는가", "어떤 경우 사람이 확인해야 하는가", "문제가 생겼을 때 누가 책임지는가"를 묻는다.
환각은 단순한 오류가 아니다
AI 리스크를 말할 때 가장 먼저 떠올리는 것은 환각이다. 환각은 AI가 사실이 아닌 내용을 그럴듯하게 말하는 현상이다. 문제는 AI의 틀린 답변이 대체로 매우 자연스럽다는 데 있다. 문장 자체는 논리적이고 자신감 있게 보인다. 그래서 사용자는 틀렸다는 사실을 바로 알아차리기 어렵다.
기업에서 환각은 다음과 같은 경로로 의사결정 리스크가 된다.
첫째, 잘못된 정보가 업무 문서에 들어간다. 시장 규모, 경쟁사 동향, 법률 조항, 기술 사양, 고객 요구사항이 틀렸는데도 보고서나 제안서에 포함될 수 있다.
둘째, 그 문서가 회의 자료가 된다. 작성자는 AI가 만든 내용을 충분히 검증하지 않고 공유한다. 회의 참석자는 문서가 이미 정리되어 있으므로 사실이라고 받아들인다.
셋째, 잘못된 자료가 의사결정의 근거가 된다. 제품 출시 일정, 투자 우선순위, 고객 대응 방향, 리스크 판단이 왜곡된다.
넷째, 실행 후에야 문제가 드러난다. 고객에게 잘못된 안내를 했거나, 규정을 잘못 해석했거나, 시장을 과대평가한 사실이 뒤늦게 확인된다.
이 흐름에서 중요한 점은 환각이 'AI의 작은 실수'로 끝나지 않는다는 것이다. 기업 안에서는 정보가 문서, 회의, 승인, 실행으로 이어진다. 따라서 AI 답변 하나가 조직의 판단 체계 안으로 들어가면 실제 비용과 평판 리스크를 만들 수 있다.
특히 다음 업무는 환각에 취약하다.
법률, 규제, 계약 조항 해석
재무 수치 분석과 투자 판단
의료, 안전, 품질 관련 설명
고객에게 직접 제공되는 안내문
경영진 보고 자료
기술 사양서와 보안 검토 문서
이 업무들에서는 AI가 초안을 만들 수는 있어도 최종 판단자가 되어서는 안 된다. AI의 역할은 자료를 정리하고, 검토할 관점을 제안하고, 빠진 부분을 찾는 데 있다. 사실 확인과 책임 있는 판단은 사람이 맡아야 한다.
부정확한 답변은 데이터 문제에서 시작된다
AI가 틀리는 이유는 단지 모델이 부족해서만은 아니다. 기업 내부에서는 데이터 자체가 부정확하거나 낡았기 때문에 답변이 틀리는 경우가 많다.
사내 규정 문서가 최신 버전이 아닐 수 있다. 고객 정보가 CRM과 엑셀 파일에 다르게 저장되어 있을 수 있다. 제품 정책이 부서마다 다르게 관리될 수 있다. 회의록에는 결정 사항이 남아 있지만 공식 문서에는 반영되지 않았을 수 있다.
이런 상태에서 AI를 연결하면 AI는 혼란스러운 지식을 기반으로 답한다. 사용자는 AI가 틀렸다고 말하지만, 실제 원인은 조직의 데이터 흐름에 있을 수 있다.
따라서 AX 리스크는 기술 리스크이면서 운영 리스크다. AI가 어떤 정보를 읽는지, 그 정보가 최신인지, 권한이 맞는지, 출처를 표시하는지, 사람이 검토할 수 있는지 확인해야 한다.
AI 답변의 정확성을 높이려면 최소한 다음 질문을 던져야 한다.
AI가 어떤 자료를 근거로 답했는가?
그 자료는 최신 버전인가?
답변에 출처가 표시되는가?
사용자가 원문을 확인할 수 있는가?
틀렸을 때 수정된 지식이 다시 반영되는가?
환각을 완전히 없애기는 어렵다. 그러나 환각이 중요한 의사결정으로 번지는 경로는 줄일 수 있다. 핵심은 AI 답변을 '완성된 결론'이 아니라 '검토가 필요한 초안'으로 다루는 것이다.
개인정보와 기밀정보 유출
AX에서 가장 현실적인 리스크 중 하나는 정보 유출이다. 많은 직원은 AI 도구를 검색창처럼 사용한다. 문제는 검색창에 넣어도 되는 정보와 AI 도구에 입력하면 안 되는 정보를 구분하지 못한다는 점이다.
예를 들어 직원이 고객 불만 메일을 AI에 넣고 답변 초안을 요청할 수 있다. 영업 담당자가 고객사 계약 조건을 입력하고 제안서 문구를 다듬을 수 있다. 인사 담당자가 지원자의 이력서와 평가 내용을 넣고 면접 질문을 만들 수 있다. 재무 담당자가 아직 공개되지 않은 실적 자료를 입력하고 요약을 요청할 수 있다.
이런 사용은 편리하지만 위험하다. 입력한 데이터가 외부 AI 서비스에 저장되거나, 모델 개선에 사용되거나, 접근 권한이 불명확한 환경에 남을 수 있기 때문이다. 기업용 계약에서는 데이터 사용 제한이 설정되어 있을 수 있지만, 개인 계정이나 무료 도구를 쓰면 통제하기 어렵다.
특히 주의해야 할 정보는 다음과 같다.
이름, 연락처, 주소, 주민등록번호 등 개인정보
구매 이력, 상담 이력, 민원 내용 등 고객 데이터
계약서, 견적서, 제안서, 가격 정책 등 영업기밀
제품 로드맵, 소스코드, 기술 문서 등 핵심 자산
인사 평가, 급여, 징계, 채용 자료 등 민감한 내부 정보
미공개 실적, 투자 계획, 인수합병 검토 자료 등 경영 기밀
정보 유출은 항상 악의적인 행동으로만 발생하지 않는다. 대부분은 업무를 빨리 처리하려는 선의의 행동에서 시작된다. 그래서 교육과 정책이 필요하다. "AI를 쓰지 말라"가 아니라 "어떤 정보는 어떤 환경에서만 쓸 수 있다"는 기준이 있어야 한다.
기업은 최소한 세 가지 구분을 해야 한다.
첫째, 공개 가능한 정보다. 이미 외부에 공개된 제품 설명, 보도자료, 일반 지식은 상대적으로 자유롭게 사용할 수 있다.
둘째, 내부용 정보다. 사내 문서, 회의록, 업무 매뉴얼처럼 외부 공개는 어렵지만 사내 AI 환경에서는 활용할 수 있는 정보다.
셋째, 제한 정보다. 개인정보, 고객별 계약 조건, 인사 평가, 재무 기밀처럼 별도 권한과 기록이 있어야만 사용할 수 있는 정보다.
이 구분이 없으면 직원은 매번 개인 판단에 의존한다. 개인 판단에 의존하는 보안은 오래가지 못한다.
고객 데이터는 더 엄격하게 다뤄야 한다
고객 데이터는 AX의 핵심 자원이다. 동시에 가장 조심해야 할 리스크 영역이다. 고객 데이터를 잘 활용하면 개인화 추천, 상담 품질 개선, 이탈 예측, 맞춤형 제안이 가능해진다. 하지만 잘못 다루면 신뢰를 잃는다.
고객은 자신의 정보가 더 나은 서비스를 위해 쓰이기를 기대할 수 있다. 그러나 자신도 모르는 방식으로 분석되거나, 불필요하게 외부 도구에 입력되거나, 다른 목적으로 재사용되는 것은 원하지 않는다. 특히 금융, 의료, 교육, 커머스처럼 민감한 정보가 많은 산업에서는 작은 실수도 큰 문제로 번진다.
고객 데이터 활용에서 흔한 위험은 다음과 같다.
상담 내용을 외부 AI에 그대로 입력하는 경우
고객 이름과 구매 이력을 포함해 마케팅 문구를 생성하는 경우
고객 세그먼트 분석에 불필요한 민감 정보를 포함하는 경우
테스트용으로 실제 고객 데이터를 사용하는 경우
권한이 없는 부서가 고객 데이터를 AI 분석에 활용하는 경우
AI가 만든 고객 점수나 등급을 설명 없이 영업·심사에 사용하는 경우
고객 데이터는 가능하면 비식별화하거나 최소한으로 사용해야 한다. 비식별화란 개인을 알아볼 수 있는 정보를 제거하거나 대체하는 것이다. 예를 들어 이름, 전화번호, 이메일, 주민등록번호 등을 삭제하고 분석에 필요한 범주 정보만 남기는 방식이다.
또 하나 중요한 원칙은 목적 제한이다. 고객이 상담을 위해 제공한 정보를 마케팅 자동화에 마음대로 쓰면 안 된다. 채용을 위해 받은 정보를 다른 분석에 쓰면 안 된다. AX는 데이터를 많이 모으는 경쟁이 아니라, 필요한 데이터를 정당한 목적 안에서 안전하게 쓰는 능력이다.
저작권과 생성 콘텐츠의 문제
생성형 AI는 글, 이미지, 음악, 코드, 디자인 시안, 광고 문구를 빠르게 만든다. 그래서 마케팅, 콘텐츠, 개발, 교육 부서에서 활용도가 높다. 그러나 생성물이 바로 회사의 자산이 되는 것은 아니다. 생성 과정과 사용 맥락에 따라 저작권 문제가 생길 수 있다.
기업이 주의해야 할 쟁점은 크게 세 가지다.
첫째, 입력 자료의 권리 문제다. 직원이 외부 작가의 글, 유료 리포트, 경쟁사 자료, 고객사의 기밀 문서를 AI에 넣고 요약하거나 변형할 수 있다. 입력 자체가 계약이나 저작권, 비밀유지 의무를 위반할 수 있다.
둘째, 출력 결과의 유사성 문제다. AI가 만든 문구, 이미지, 코드가 기존 저작물과 지나치게 비슷할 수 있다. 사용자는 새로 만든 것처럼 보이기 때문에 그대로 광고, 제품, 서비스에 넣을 수 있다. 나중에 유사성이 문제 되면 기업이 책임을 져야 한다.
셋째, 생성물의 소유권과 사용권 문제다. 어떤 AI 도구는 사용 조건에 따라 결과물의 상업적 이용 범위가 다를 수 있다. 특히 이미지, 음원, 영상, 코드 생성 도구는 라이선스 조건을 확인해야 한다.
실무에서는 다음 상황을 조심해야 한다.
유명 브랜드 스타일을 그대로 모방한 광고 이미지 생성
특정 작가나 디자이너의 스타일을 지정한 콘텐츠 제작
유료 보고서를 입력해 사내 교육 자료로 재가공
오픈소스 라이선스를 확인하지 않은 코드 생성물 사용
고객사가 제공한 자료를 AI 학습·분석에 재사용
AI가 만든 콘텐츠를 사람이 검토하지 않고 외부 배포
저작권 리스크를 줄이려면 생성형 AI 결과물을 '무료 재료'로 보면 안 된다. 업무 산출물과 같은 검토 절차를 거쳐야 한다. 외부 공개 콘텐츠라면 출처 확인, 유사성 검토, 라이선스 확인, 브랜드 적합성 검토가 필요하다.
특히 기업은 "AI가 만들었으니 괜찮다"는 생각을 버려야 한다. AI가 만든 결과물을 회사 이름으로 내보내는 순간 책임은 회사에 있다.
학습 데이터와 사용권의 불확실성
AI를 직접 구축하거나 사내 데이터를 활용해 모델을 조정할 때는 학습 데이터 문제가 더 중요해진다. 모델을 학습시키거나 개선하는 데 어떤 데이터를 썼는지 명확하지 않으면 나중에 법적·운영적 문제가 생길 수 있다.
예를 들어 고객 상담 데이터를 AI 학습에 사용하려면 고객 동의, 내부 규정, 보관 기간, 비식별화 수준을 확인해야 한다. 직원의 업무 메일이나 메신저 기록을 분석하려면 개인정보와 근로자 감시 이슈가 함께 발생할 수 있다. 외부에서 구매한 데이터도 계약상 AI 학습에 사용할 수 있는지 따로 확인해야 한다.
데이터를 가지고 있다는 것과 AI에 사용할 권리가 있다는 것은 다르다. 회사 서버에 저장되어 있어도 모든 용도로 쓸 수 있는 것은 아니다.
AX 조직은 데이터별로 다음 항목을 관리해야 한다.
데이터의 출처
수집 목적
사용 동의 범위
보관 기간
AI 활용 가능 여부
외부 전송 가능 여부
비식별화 필요 여부
삭제 요청 대응 방식
초기 AX에서는 이 작업이 번거롭게 느껴질 수 있다. 그러나 데이터 권리를 정리하지 않은 채 AI 활용을 확대하면 나중에 더 큰 비용을 치른다. 데이터 사용권 관리는 AX의 속도를 늦추는 절차가 아니라, 확산 가능한 기반을 만드는 일이다.
편향과 차별은 조용히 작동한다
AI는 중립적으로 보이지만 실제로는 데이터와 설계 방식의 영향을 받는다. 과거 데이터에 편향이 있으면 AI도 그 패턴을 배운다. 업무 규칙이 특정 집단에 불리하게 설계되어 있으면 AI는 그 결과를 더 빠르고 일관되게 실행할 수 있다.
편향은 노골적으로 드러나지 않는다. 그래서 더 위험하다. AI가 특정 성별, 나이, 지역, 학교, 직업 경로, 소득 수준, 장애 여부, 국적 등에 따라 다른 결과를 낼 수 있다. 담당자는 "AI가 계산한 결과"라고 생각하지만, 그 계산 안에는 과거 조직의 편견이나 사회적 불균형이 들어 있을 수 있다.
채용에서는 다음과 같은 문제가 생길 수 있다.
과거 합격자 데이터를 기준으로 특정 학교나 경력 유형을 선호
경력 공백이 있는 지원자를 일관되게 낮게 평가
특정 성별이 많았던 직무의 기존 패턴을 그대로 반영
이력서 문체나 표현 방식에 따라 역량과 무관한 점수 차이 발생
금융이나 심사 업무에서는 더 민감하다.
특정 지역이나 직업군에 불리한 신용 판단
설명하기 어려운 자동 거절
과거 데이터에 기반한 차별적 한도 산정
고객이 결과에 이의를 제기할 방법이 없는 구조
추천과 마케팅에서도 편향은 나타난다.
일부 고객에게만 좋은 혜택이 반복적으로 노출
특정 연령대나 성별에 고정관념을 강화하는 상품 추천
수익성이 높은 고객에게만 서비스 품질이 집중
신규 고객이나 소수 고객군이 계속 배제
고객 응대에서도 위험이 있다.
특정 표현을 쓰는 고객을 더 부정적으로 분류
민원 고객을 과도하게 낮은 우선순위로 배치
언어 능력, 장애, 고령 등으로 인해 AI 상담에서 불이익 발생
자동 응답이 고객의 상황을 충분히 이해하지 못한 채 동일한 답변 반복
편향과 차별의 핵심 문제는 결과만 보고는 원인을 알기 어렵다는 점이다. 그래서 AI 시스템을 도입할 때는 평균 성과만 보면 안 된다. 집단별 결과 차이, 예외 사례, 고객 이의제기, 현업 피드백을 함께 봐야 한다.
자동화가 책임을 지우지는 않는다
AX가 진행될수록 조직은 더 많은 업무를 자동화하고 싶어 한다. 반복 업무를 줄이고, 응답 속도를 높이고, 비용을 낮추는 것은 당연한 목표다. 그러나 자동화가 늘어날수록 책임 구조는 더 명확해야 한다.
위험한 자동화는 사람이 빠진 자동화가 아니다. 책임이 빠진 자동화다.
예를 들어 AI가 고객 환불 여부를 판단한다고 해보자. 고객은 결정에 불만을 제기한다. 상담원은 "시스템이 그렇게 판단했다"고 말한다. IT 부서는 "우리는 모델을 연결했을 뿐"이라고 말한다. 현업 부서는 "정책 기준은 예전부터 있었다"고 말한다. 이 경우 고객 입장에서는 누구도 책임지지 않는 조직처럼 보인다.
자동화된 업무에는 반드시 책임자가 있어야 한다.
이 자동화의 업무 오너는 누구인가?
어떤 기준으로 AI가 판단하는가?
사람이 개입해야 하는 예외 조건은 무엇인가?
고객이나 직원이 이의를 제기할 수 있는가?
자동화 결과를 정기적으로 검토하는가?
문제가 생기면 중단하거나 되돌릴 수 있는가?
AI가 실행에 가까워질수록 이 질문은 더 중요해진다. 단순 요약 도구보다 자동 발송 시스템이 위험하다. 자동 발송보다 자동 승인 시스템이 더 위험하다. 자동 승인보다 자동 거절 시스템은 훨씬 더 엄격하게 관리해야 한다.
자동화의 수준이 높아질수록 사람의 역할은 사라지는 것이 아니라 바뀐다. 사람은 모든 건을 직접 처리하는 수행자에서, 기준을 설계하고 예외를 판단하며 결과를 감시하는 감독자로 이동해야 한다.
예외 상황은 자동화의 약한 고리다
AI는 패턴이 반복되는 업무에서 강하다. 그러나 기업 업무에는 항상 예외가 있다. 문제는 고객 불만, 사고, 민감한 요청, 규정 충돌, VIP 고객, 법적 분쟁처럼 중요한 일일수록 예외일 가능성이 높다는 점이다.
예외 상황을 고려하지 않은 자동화는 평소에는 잘 작동한다. 그래서 조직은 안심한다. 하지만 특수한 상황이 발생하면 문제가 커진다.
예를 들어 고객지원 AI가 배송 지연 문의에는 잘 답하지만, 사고 피해 보상이나 의료기기 오작동 신고에는 부적절한 답변을 할 수 있다. 인사 AI가 일반적인 휴가 문의에는 잘 대응하지만, 직장 내 괴롭힘이나 질병 휴직처럼 민감한 사안에는 사람 담당자로 즉시 연결해야 한다. 금융 상담 AI가 상품 설명은 잘하지만, 투자 손실과 민원 가능성이 있는 상황에서는 자동 조언을 제한해야 한다.
자동화 설계에서 중요한 것은 정상 흐름이 아니라 예외 흐름이다. 다음 조건에서는 자동 처리를 멈추고 사람에게 넘기는 기준이 있어야 한다.
고객이 강한 불만이나 법적 대응을 언급하는 경우
안전, 건강, 생명, 사고와 관련된 내용이 포함된 경우
개인정보 삭제, 동의 철회, 민감 정보 요청이 있는 경우
금전 손실, 계약 해지, 환불 분쟁이 발생한 경우
AI가 답변 근거를 찾지 못하거나 확신도가 낮은 경우
동일 고객이 반복적으로 문제를 제기하는 경우
좋은 자동화는 모든 것을 끝까지 처리하는 시스템이 아니다. 언제 멈추고 사람에게 넘겨야 하는지 아는 시스템이다.
고객 신뢰는 효율보다 느리게 회복된다
기업이 AI를 도입할 때 자주 강조하는 가치는 속도와 효율이다. 더 빨리 답하고, 더 적은 인력으로 처리하고, 더 많은 고객을 지원하는 것이다. 하지만 고객이 느끼는 가치는 다를 수 있다. 고객은 빠른 답변보다 정확한 해결을 원한다. 자동 응답보다 자신의 상황을 이해받기를 원한다.
AI 상담이 고객 신뢰를 떨어뜨리는 경우는 대체로 비슷하다.
고객의 질문을 제대로 이해하지 못한 채 같은 답을 반복한다.
사람이 필요한 상황에서도 상담원 연결을 어렵게 만든다.
잘못된 안내를 하고도 책임 있는 수정 절차가 없다.
고객이 AI와 대화하고 있다는 사실을 명확히 알리지 않는다.
민감한 문제를 기계적으로 처리한다.
비용 절감을 위해 고객 경험을 희생한다는 인상을 준다.
고객은 AI 사용 자체를 문제 삼지 않을 수 있다. 오히려 빠르고 편리하면 긍정적으로 받아들인다. 문제는 AI가 고객의 선택권을 빼앗는다고 느낄 때 생긴다. 고객이 원하면 사람과 대화할 수 있어야 한다. 중요한 결정에는 설명이 있어야 한다. 오류가 발생하면 빠르게 정정되어야 한다.
AX에서 고객 신뢰는 성과 지표의 일부가 되어야 한다. 응답 시간만 보지 말고, 해결률, 재문의율, 상담 이관률, 불만 증가율, 고객 만족도, 오류 정정 시간도 함께 봐야 한다. 효율만 높이고 신뢰를 잃으면 AX는 실패한 것이다.
리스크는 서로 연결되어 있다
AX 리스크는 각각 따로 발생하지 않는다. 하나의 사건 안에 여러 리스크가 함께 들어 있는 경우가 많다.
예를 들어 영업 담당자가 고객사의 계약서를 외부 AI 도구에 입력해 제안서 초안을 만들었다고 해보자. 이 경우 기밀정보 유출 리스크가 있다. AI가 계약 조건을 잘못 요약하면 부정확한 답변 리스크가 생긴다. 제안서 문구가 기존 자료와 유사하면 저작권 문제가 생길 수 있다. 잘못된 조건으로 고객에게 제안하면 신뢰 리스크도 발생한다.
또 다른 예로 채용 AI를 생각해보자. 과거 합격자 데이터를 사용해 지원자를 점수화한다. 이 과정에서 개인정보 사용 동의가 불충분하면 개인정보 리스크가 생긴다. 과거 채용 관행이 특정 집단에 불리했다면 편향 리스크가 생긴다. AI 점수만 보고 탈락을 결정하면 과도한 자동화 리스크가 생긴다. 지원자가 이유를 요구했는데 설명하지 못하면 신뢰와 법적 리스크가 커진다.
따라서 AX 리스크 관리는 항목별 체크리스트만으로 충분하지 않다. 업무 흐름 전체를 봐야 한다.
어떤 데이터가 들어가는가?
AI가 무엇을 생성하거나 판단하는가?
그 결과가 누구에게 전달되는가?
사람이 어느 지점에서 검토하는가?
고객이나 직원에게 어떤 영향을 주는가?
문제가 생기면 어떻게 추적하고 수정하는가?
AI 시스템 하나를 보는 것이 아니라, AI가 연결된 업무 프로세스를 봐야 한다. 이것이 AX 리스크 관리의 출발점이다.
리스크를 분류하면 관리가 쉬워진다
모든 AI 사용을 같은 수준으로 통제하면 조직은 움직이지 못한다. 반대로 모든 사용을 자유롭게 두면 사고가 난다. 그래서 업무별 리스크 등급을 나누는 것이 필요하다.
간단하게는 네 단계로 볼 수 있다.
1단계: 낮은 리스크
개인 생산성 향상을 위한 초안 작성, 아이디어 정리, 공개 자료 요약처럼 외부 영향이 작고 민감 정보가 없는 업무다. 비교적 자유롭게 사용할 수 있지만, 기밀정보 입력 금지와 결과 검토 원칙은 필요하다.
2단계: 중간 리스크
사내 문서 작성, 회의록 요약, 내부 지식 검색, 부서 업무 분석처럼 내부 의사결정에 영향을 주는 업무다. 출처 확인, 최신 문서 연결, 권한 관리, 로그 기록이 필요하다.
3단계: 높은 리스크
고객 응대, 계약 검토, 재무 분석, 인사 평가, 심사 지원처럼 사람이나 고객에게 직접 영향을 주는 업무다. 사람의 검토, 승인 절차, 예외 처리, 품질 평가가 반드시 필요하다.
4단계: 매우 높은 리스크
채용 합격·탈락, 대출 승인·거절, 의료 판단, 법적 책임 판단, 안전 관련 조치처럼 개인의 권리, 재산, 건강, 생명에 중대한 영향을 주는 업무다. 자동화 범위를 엄격히 제한하고, 전문 인력 검토와 감사 가능성을 확보해야 한다.
리스크 등급을 정하면 논의가 명확해진다. "AI를 써도 되는가"라는 추상적인 질문 대신 "이 업무는 어떤 등급이며, 어떤 통제가 필요한가"를 묻게 된다.
AX 리스크 진단 질문
AX 과제를 시작하기 전에는 다음 질문을 점검해야 한다.
이 업무가 잘못되면 누구에게 피해가 가는가?
AI가 사용하는 데이터에 개인정보나 기밀정보가 포함되는가?
AI 답변이 고객이나 외부 이해관계자에게 직접 전달되는가?
AI 결과가 승인, 거절, 평가, 추천 같은 판단에 사용되는가?
틀린 답변을 사람이 발견할 수 있는 구조인가?
결과에 대한 이의제기나 수정 절차가 있는가?
AI 사용 기록이 남는가?
어떤 사람이 최종 책임을 지는가?
자동화가 멈춰야 하는 조건이 정의되어 있는가?
이 업무에 적용되는 법적·계약상 제한은 무엇인가?
이 질문에 답하지 못한다면 아직 자동화할 준비가 되지 않은 것이다. 먼저 업무 기준, 데이터 기준, 검토 기준을 정리해야 한다.
리스크를 알아야 AX가 지속된다
AI의 가능성을 과소평가하면 기업은 뒤처진다. 그러나 리스크를 과소평가해도 AX는 실패한다. 처음에는 빠른 실험처럼 보이지만, 오류와 유출과 불신이 쌓이면 조직은 다시 보수적으로 돌아간다.
지속 가능한 AX는 두 가지를 함께 해야 한다. 하나는 AI가 만들 수 있는 가치를 적극적으로 찾는 일이다. 다른 하나는 그 가치가 실제 업무와 고객에게 안전하게 전달되도록 통제하는 일이다.
리스크 관리는 혁신의 반대편에 있지 않다. 리스크 관리는 혁신이 오래 가기 위한 운영 방식이다.
AX를 추진하는 기업은 다음 원칙을 기억해야 한다.
AI 답변은 검토 가능한 초안으로 다룬다.
민감 정보는 승인된 환경에서만 사용한다.
생성 콘텐츠는 권리와 유사성을 확인한다.
사람에게 영향을 주는 판단에는 편향을 점검한다.
자동화에는 책임자와 예외 처리 기준을 둔다.
고객 신뢰를 효율보다 낮게 두지 않는다.
AI를 많이 쓰는 기업이 앞서가는 것이 아니다. AI의 위험을 이해하고, 업무 안에서 안전하게 쓰는 기업이 오래 간다. AX 전환의 다음 단계는 바로 이 리스크를 운영 원칙으로 바꾸는 일이다.
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.