신뢰가 자동화의 전제다
AI 자동화는 편리해 보일수록 더 엄격하게 관리해야 한다. 고객정보, 계약서, 가격 정책, 직원 정보, 재무 데이터가 AI 시스템에 들어가는 순간 자동화는 단순한 생산성 도구가 아니라 회사의 통제 대상이 된다. NIST는 AI 위험을 설계, 개발, 사용, 평가 전 과정에서 관리해야 한다고 설명한다.1 즉 보안과 거버넌스는 도입 후 점검하는 부가 작업이 아니라 처음부터 설계해야 할 조건이다.
AI가 빠르게 처리한다는 장점은 오류가 있을 때 단점이 된다. 잘못된 데이터가 연결되면 잘못된 답변, 잘못된 승인, 잘못된 고객 안내가 빠르게 확산된다. 그래서 AI 자동화의 첫 질문은 "무엇을 자동화할까?"가 아니라 "이 데이터를 AI가 써도 되는가?"여야 한다.
AI 생성 이미지
데이터 접근 권한을 먼저 나눈다
모든 데이터를 AI에 열어주면 안 된다. 데이터는 최소한 네 등급으로 나누는 것이 좋다.
공개 데이터: 웹사이트, 공개 제품 설명, 보도자료
내부 데이터: 사내 절차, 일반 업무 매뉴얼, 교육 자료
기밀 데이터: 가격 정책, 영업 전략, 계약 조건, 원가 정보
민감정보: 개인정보, 결제 정보, 건강 정보, 인사 평가, 계좌 정보
등급을 나눈 뒤에는 역할별 접근 권한을 정한다. 고객지원 AI는 주문 상태를 조회할 수 있어도 결제카드 전체 번호를 볼 필요는 없다. 영업 AI는 고객 미팅 기록을 요약할 수 있지만 모든 고객사의 계약서를 검색할 권한은 필요하지 않다. 원칙은 단순하다. 업무 수행에 꼭 필요한 데이터만, 필요한 기간 동안, 필요한 방식으로 허용한다.
실행 권한은 조회 권한보다 더 엄격해야 한다. AI가 환불 초안을 작성하는 것과 실제 환불을 실행하는 것은 다르다. 금액, 고객 등급, 법적 위험, 개인정보 포함 여부에 따라 사람 승인 단계를 둬야 한다.
데이터 품질이 낮으면 자동화는 위험해진다
AI는 데이터를 스스로 정리해 주는 마법 도구가 아니다. 중복 고객 ID, 오래된 정책 문서, 서로 다른 상품 코드, 누락된 승인 이력이 있으면 AI는 그 혼란을 그대로 사용한다. 사람이 수작업으로 처리할 때는 한 건의 실수로 끝날 일이 자동화에서는 수백 건으로 퍼질 수 있다.
자동화 전에 확인할 항목은 다음과 같다.
최신 문서와 폐기 문서가 구분되어 있는가
고객, 상품, 거래처 코드가 일관되는가
필수 입력값의 누락률은 어느 정도인가
과거 처리 결과에 오류나 편향이 섞여 있지 않은가
AI가 참고한 원본 데이터와 답변을 추적할 수 있는가
데이터 품질 관리는 IT팀만의 일이 아니다. 업무 기준은 현업이 알고, 데이터 구조는 IT가 알고, 위험 기준은 보안·법무·컴플라이언스 조직이 안다. 세 조직이 함께 기준을 정해야 한다.
검수, 승인, 로그가 거버넌스의 핵심이다
거버넌스는 회의체를 많이 만드는 일이 아니다. 누가 무엇을 승인하고, 문제가 생기면 어디까지 추적하며, 어떤 경우 자동화를 멈출지를 정하는 운영 규칙이다.
먼저 AI 답변의 위험 등급을 나눈다. 단순 FAQ 답변은 자동 발송할 수 있다. 계약 조건, 환불, 채용, 재무 처리처럼 고객이나 직원에게 직접 영향을 주는 답변은 사람 검수가 필요하다. 금전 지급, 계정 권한 변경, 계약 발송 같은 실행 업무는 승인자와 한도를 반드시 둔다.
둘째, 로그를 남긴다. AI가 어떤 입력을 받았고, 어떤 문서를 참고했으며, 어떤 답변을 만들었고, 누가 승인했는지 기록해야 한다. 로그가 없으면 오류를 고칠 수도, 책임을 나눌 수도 없다.
셋째, 중단 조건을 정한다. 특정 오류율을 넘거나, 민감정보가 노출되거나, 승인 없이 실행이 발생하면 자동화 흐름을 즉시 멈추고 사람 검토로 전환해야 한다.
프롬프트와 모델 사용에도 정책이 필요하다
직원이 외부 AI 도구에 고객명, 계약서, 소스코드, 미공개 재무 정보를 그대로 붙여 넣는다면 자동화가 아니라 정보 유출이다. OWASP 생성형 AI 보안 프로젝트도 학습 데이터와 검색 데이터의 유출·변조 위험을 중요한 보안 이슈로 다룬다.2
회사는 다음 정책을 명확히 해야 한다.
외부 AI 도구에 입력해도 되는 정보와 금지 정보를 구분한다.
개인정보와 식별자는 가능한 한 제거하거나 가명 처리한다.
내부 문서를 검색하는 AI는 사용자 권한 안의 문서만 보게 한다.
AI 답변에는 가능하면 근거 문서와 버전을 표시한다.
모델 선택 시 데이터 저장 여부, 학습 사용 여부, 보관 기간을 확인한다.
AI 자동화의 목표는 더 많은 일을 기계에 맡기는 것이 아니다. 사람이 믿고 맡길 수 있는 범위를 넓히는 것이다. 신뢰할 수 없는 자동화는 결국 현업의 저항을 부르고, 다시 수작업으로 돌아간다. 반대로 데이터, 보안, 책임 구조가 분명한 자동화는 작게 시작해도 오래 확장된다.
참고
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.