보안·개인정보·윤리: 민감정보, 저작권, 편향, 정신건강 등 고위험 사용 금지선

잘 쓰면 ‘시간 절약’이지만, 잘못 쓰면 ‘사고’가 된다. 특히 보안·개인정보·윤리 영역에서 한 번의 실수는 되돌리기 어렵다. 이 장의 목표는 단순한 경고가 아니라, 팀이 합의해 지킬 수 있는 금지선을 먼저 긋는 것이다.

핵심 원칙은 간단하다.

첫째, 공개형 도구에 넣은 정보는 ‘내 컴퓨터에서만 쓰인다’고 가정하면 안 된다. 입력은 로그·저장·공유·유출 같은 여러 경로를 탈 수 있다.¹

둘째, 고위험 영역에서는 “도움”과 “대체”를 구분해야 한다. 설명은 도와줄 수 있지만, 최종 판단을 맡기면 책임과 피해가 동시에 커진다.

공개 도구에 넣지 말아야 할 정보: “입력=공유”로 가정하기

AI 프롬프트 창은 메모장이 아니다. 조직 관점에서 보면 프롬프트는 데이터 수집·저장·공유 체계의 한 입력 채널이다.¹ 따라서 ‘무심코 붙여넣기’를 막기 위해, 금지 항목을 예외 없이 정해두는 편이 안전하다.

다음 유형은 원칙적으로 공개형 도구(개인 계정, 승인되지 않은 웹/앱, 개인 API 키로 붙인 도구)에 넣지 않는 것을 기본값으로 둔다.

• 주민번호·여권번호·운전면허번호 같은 고유식별 정보, 고객 연락처·주소 등 개인식별 정보(PII)

• 건강정보·진료기록·검사결과·처방전 등 의료/건강정보(PHI)

• 계정 비밀번호, OTP/복구코드, API 키, 개인 인증서, 토큰, 쿠키 값 같은 인증정보

• 소스코드 전체, 보안 취약점 세부, 내부 인프라 구성(서버 목록, 방화벽/라우팅, IAM 정책), 보안 로그 원문

• 계약서 원문, 미공개 분쟁 자료, 법률 자문 메모, 내부 감사 자료

• 인사평가/징계/채용 판단 근거, 면접 기록, 급여·성과·민감한 노무 자료

• 미공개 재무/IR 자료, 내부 지표 대시보드 캡처, 원가·마진·가격정책 원문

• 아동/청소년 관련 데이터, 생체정보(얼굴/지문/홍채) 및 이를 포함한 이미지

이 목록의 공통점은 “유출 시 피해가 크다”가 아니라, 유출 사실을 확인하기 어렵고, 유출 후 회수가 거의 불가능하다는 데 있다. 특히 AI 시스템은 대규모 데이터 흐름을 다루기 때문에, 민감정보가 ‘있으면 안 되는 곳’에 섞여 들어갈 확률 자체가 올라간다.¹

섀도우 AI(Shadow AI): 생산성 지름길이 사고 지름길이 되는 순간

조직에서 가장 자주 터지는 문제는 ‘모델 자체’보다 승인되지 않은 사용 방식이다. 직원이 고객 데이터, 회의록, 소스코드, 민감한 내부 문서를 개인 계정의 생성형 AI에 붙여넣는 순간, 보안팀이 통제할 수 없는 데이터 경로가 생긴다.

실제 현장에서는 이런 섀도우 AI가 침해 사고의 경로가 되기도 한다. 한 분석은 섀도우 AI를 통한 침해가 조직 비용을 키우고, 상당수 조직이 적절한 접근 통제 없이 AI를 쓰고 있다고 지적한다.³

그래서 정책은 “쓰지 마”로 끝나면 실패한다. 대신 안전한 대체 경로(승인된 도구, 익명화 파이프라인, 민감도 라벨링, 검토 프로세스)를 같이 제공해야 한다.²

조직 가이드라인의 뼈대: 허용·제한·금지 3단계로 단순화

가이드라인은 길수록 안 지켜진다. 보안·윤리 영역은 특히 “현장 판단”이 끼어들면 사고로 이어지기 쉬우니, 세 단계로 단순화해두는 것이 좋다.

1) 허용(기본): 공개/비식별 정보로 ‘일반적 도움’ 받기

허용 구간의 기준은 “업무에 도움이 된다”가 아니라 누가 봐도 민감하지 않은 정보로도 목표를 달성할 수 있느냐다. 예를 들어 공개 자료 요약, 일반적 글쓰기, 공개된 제품 설명 다듬기처럼 대체로 안전한 작업이 여기에 들어간다.

다만 여기서도 ‘목적 제한’과 ‘최소 수집’이 기본 원칙이다. 필요한 범위만 입력하고, 목적을 벗어나는 재사용을 하지 않는 습관이 규제·감사 대응의 출발점이 된다.¹

2) 제한(조건부): 내부 정보는 ‘승인된 경로’와 ‘최소화’가 전제

내부 문서/데이터를 써야 한다면, 먼저 데이터 흐름을 지도처럼 그려 “어디서 들어와 어디로 나가는지”를 명확히 해야 한다.² 그 다음에야 기술적 통제가 의미가 생긴다.

기업 환경에서 권장되는 최소 조건은 다음과 같다.

• 데이터 분류(공개/내부/기밀/제한) 라벨을 붙이고, 라벨별로 입력 가능 도구를 제한한다.²

• 입력 전에 자동 탐지·마스킹·익명화로 모델이 ‘보는 데이터’를 최소화한다.²

• 승인된 도구(엔터프라이즈 계약, 데이터 보관·학습 정책이 명확한 환경)만 사용한다.

• 프롬프트와 출력에 대한 감사 로그를 남겨, 누가 무엇을 넣고 무엇을 받았는지 추적 가능하게 한다.²

3) 금지(원칙적 사용 금지): 고위험 판단을 ‘정당화’하는 용도

다음 유형은 “초안”이라고 해도 조직 내에서 금지에 가깝게 다루는 편이 안전하다.

• 채용/승진/해고/징계 같은 인사 의사결정의 근거 작성(차별·편향 리스크 포함)

• 신용/대출/보험/가격 차등 같은 개인에게 중대한 영향을 주는 자동화된 판단의 정당화

• 법률·의료·치료(정신건강 포함)에서 개인 맞춤 결론(진단, 처방, 소송 전략 확정 등)

여러 지역의 개인정보 법제는 민감정보 처리, 프로파일링, 자동화된 의사결정(ADM)에 대해 고지·동의·거부권 같은 요구사항을 강화하는 방향으로 움직인다.⁵ 즉, “좋은 의도로 편하게 썼다”는 변명이 통하지 않는 구간이 점점 넓어진다.

기술적 안전장치: “금지”를 줄이려면 ‘경계’를 설계해야 한다

현실적으로 AI를 아예 쓰지 않기는 어렵다. 그래서 조직은 “하지 말라”를 반복하는 대신, 어떤 조건이면 안전하게 쓸 수 있는지를 설계해야 한다.

기업 환경에서 반복해서 권장되는 접근은 비슷한 흐름을 가진다. 데이터 흐름을 파악하고, 민감도를 분류하고, 최소화/가명화/마스킹을 적용하고, 접근 통제를 강화하고, 벤더·모델 거버넌스를 붙이고, 지속적으로 모니터링하며 문서화하는 방식이다.²

여기서 특히 실무자가 놓치기 쉬운 지점이 두 가지다.

첫째, 임베딩(embeddings)도 데이터다. 숫자 벡터로 바뀌면 안전할 것 같지만, 입력을 재구성(복원)할 가능성이 연구·공격 관점에서 논의된다. 그래서 “RAG를 쓰니까 원문을 안 보낸다”가 자동으로 안전을 보장하지 않는다.³

둘째, 프롬프트 인젝션 같은 공격은 ‘입력 데이터’에서 시작한다. 겉으로는 정상 요청처럼 보이지만, 모델에게 비밀을 꺼내게 하거나 정책을 우회하도록 유도하는 형태가 가능하다.¹

기술 스택을 크게 바꾸지 않고도 적용 가능한 최소 세트는 다음과 같다.

• 사내 승인 도구만 허용(SSO, 접근제어, 로깅)

• 입력 전 민감정보 자동 탐지 및 마스킹(DLP)

• 출력 후 민감정보/금칙어/개인정보 재노출 검사

저작권·IP: “그럴듯한 문장”이 권리 문제를 해결해주지 않는다

저작권 이슈는 두 갈래로 터진다. 하나는 학습 데이터(타인의 저작물로 학습했는가), 다른 하나는 출력물(내가 쓸 결과물이 침해인가)이다. 그리고 두 갈래 모두 법적 불확실성이 크다.⁶

실무자가 꼭 알아야 할 포인트는 다음과 같다.

미국 관점에서는 원칙적으로 인간 저작(인간의 창작적 기여)이 저작권 성립의 핵심이고, AI가 단독으로 만든 결과물은 보호 대상이 아니라는 입장이 반복해서 확인되어 왔다.⁶¹² 그래서 “AI가 만들어줬으니 내 저작권이 자동으로 생긴다”는 기대는 위험하다.

또한 모델 학습이 공정 이용(fair use)에 해당하는지 여부는 여전히 분쟁 중이며, 소송과 합의, 라이선스 시장이 함께 움직이고 있다.⁶⁸ 결론적으로, 조직은 법적 판례가 정리되기 전까지 보수적 실무 규칙으로 리스크를 관리하는 편이 낫다.

저작권/IP 리스크를 줄이는 실무 규칙

다음 원칙은 업종을 막론하고 재현성이 높다.

• 원문이 있는 글을 “그대로” 길게 붙여넣고 재작성시키지 않는다(특히 외부 배포물).

• 특정 작가/브랜드의 문체를 그대로 모사해 상업적으로 쓰는 요청은 피한다.

• 산출물을 그대로 채택하지 말고, 사람의 편집·구성·사실 확인을 통해 ‘인간의 기여’를 남긴다.⁶

• 이미지·문장·코드의 출처가 중요하면, 애초에 라이선스가 명확한 자료만을 컨텍스트로 제공한다.

• “표절(윤리)”과 “저작권 침해(법)”가 다를 수 있음을 전제로, 둘 다를 체크한다.⁷

편향·차별: 자동화된 판단은 ‘효율’이 아니라 ‘위험’이 될 수 있다

AI는 데이터를 바탕으로 패턴을 학습한다. 그런데 데이터가 사회의 편향을 담고 있으면, 모델은 그것을 재현하거나 강화할 수 있다. 감시·프로파일링과 결합하면 개인의 권리 침해로 이어질 수도 있다.¹

특히 채용·평가·대출·보험·교육처럼 개인의 기회에 직접 영향을 주는 분야에서는, “모델이 그렇게 말했다”는 문장이 곧 책임 회피의 장치가 된다. 그래서 조직 정책에서 이런 영역은 기본적으로 금지 또는 강한 제한으로 두고, 필요하다면 별도의 영향평가와 사람의 감독, 설명가능성, 이의제기 경로를 갖추는 방식이 권고된다.⁵

실무적으로는 다음 질문 하나로 금지선을 쉽게 판별할 수 있다.

“이 결과로 누군가가 탈락·불이익·차별을 주장할 수 있는가?”

그렇다면 자동화의 목표는 ‘결론 생성’이 아니라, 사람이 판단하기 위한 자료 정리·대안 비교·질문 생성 수준에 머무는 편이 안전하다.

의료·법률·정신건강: ‘개인 맞춤 결론’은 금지선, ‘안전한 안내’만 허용

고위험 영역에서 가장 흔한 실수는 “조언을 받는 수준”에서 출발해, 어느 순간 “결정을 위임”하는 것이다. 의료 AI는 안전·프라이버시·편향 리스크가 동시에 커지기 때문에, 규제·거버넌스의 필요성이 강하게 논의된다.⁹¹⁰

의료

ChatGPT가 의료 분야에서 할 수 있는 역할은, 대체로 정보를 구조화하는 데 한정하는 편이 좋다. 예를 들어 진료 기록을 비식별화한 뒤 증상 타임라인을 정리하거나, 의사에게 물어볼 질문 목록을 만드는 일은 도움이 된다.

반면, 진단·처방·약물 조합의 안전성 판단 같은 개인 맞춤 결론은 금지선으로 두는 것이 안전하다. 의료 영역에서는 도입·운영 자체가 지속적 검증과 모니터링을 요구한다는 지적이 반복된다.¹⁰

법률

법률은 문구 하나가 권리·의무를 바꾼다. 따라서 ‘법률 자문’이 아니라 ‘문장 정리/요약/질문 생성’ 수준으로 사용 범위를 제한하고, 실제 사건에 대한 결론이나 제출 문서는 변호사 검토를 원칙으로 두는 편이 안전하다.

정신건강

정신건강 영역은 특히 취약하다. AI가 공감형 대화를 잘해 보여도, 위기 상황(자해·자살·학대·중독 등)에서는 잘못된 응답이 즉각적인 위험이 될 수 있다. 임상 윤리 원칙(선행, 자율성, 정의, 비밀보장, 투명성 등)을 기반으로 책임 있는 사용이 강조된다.¹¹

조직에서 최소한으로 합의할 수 있는 안전장치는 다음이다.

• 개인 맞춤 치료 계획, 약물 변경, 위기 상황의 대응 지시는 금지

• 위기 징후가 보이면 AI 대화를 중단하고 사람/전문기관 연결로 전환

• 상담/치료 관련 기록을 공개형 도구에 입력하지 않기

외부 공유 전 ‘2분 점검’ 체크리스트 (보안·윤리 버전)

출력물이 밖으로 나가기 직전, 아래 질문에 하나라도 “예”가 나오면 멈추고 수정하거나 검토 라우팅을 태운다.

• 개인정보(이름/연락처/계정/주소)나 건강정보가 포함되어 있는가?¹

• 내부 기밀(가격, 원가, 로드맵, 보안 구성, 계약/분쟁, 인사)이 섞였는가?

• 특정 개인/집단에 불이익을 줄 수 있는 판단·평가·분류를 하고 있는가?⁵

• 저작물 출처가 불명확한 문장/이미지/코드가 “그대로” 포함되어 있는가?⁶

• 의료·법률·치료(정신건강)에서 개인 맞춤 결론을 단정하고 있는가?⁹¹¹

팀에서 바로 쓰는 템플릿 3종

1) 입력 전 경고 문구(사내 공지/도구 첫 화면)

이 도구에 개인정보/건강정보/인증정보/계약·분쟁·인사/보안 구성/미공개 재무/고객 원문 데이터를 입력하지 마세요. 필요 시 ‘승인된 경로(엔터프라이즈 도구/익명화 파이프라인)’를 사용하세요.

2) 비식별화(익명화) 지침: “의미는 남기고, 신원은 지운다”

이름·연락처·주소·고유번호·계정·회사명·프로젝트 코드·거래처명은 토큰으로 치환합니다.

예) 김민수 → [고객A], 010-1234-5678 → [전화번호], 2026-03-16 14:32 → [날짜/시간]

3) 고위험 요청 에스컬레이션(멈춤) 문구

요청에 개인정보/건강정보/법률·의료·치료 판단/인사 평가/차별 가능성이 포함되어 있으면, 결론을 생성하지 말고 다음만 출력하세요.

1. 필요한 정보의 범주(민감정보 제외)

2. 승인된 처리 경로(담당 부서/도구)

3. 사용자에게 요청할 비식별화 방식

참고

¹Exploring privacy issues in the age of AI

²How to Ensure AI Systems Meet Enterprise Data Privacy Regulations

³AI and Privacy: Safeguarding Sensitive Data in the AI Age

⁴Privacy in an AI Era: How Do We Protect Our Personal Information?

⁵How state privacy laws regulate AI: 6 steps to compliance

⁶Artificial Intelligence Impacts on Copyright Law

⁷AI, Authorship, & Copyright - Artificial Intelligence (Generative) Resources - Guides at Georgetown University

⁸Copyright and AI: the Cases and the Consequences

⁹AI in healthcare: legal and ethical considerations in this new frontier

¹⁰AI is speeding into healthcare. Who should regulate it?

¹¹Ethical AI in Mental Health Care: Clinical Principles, Risks, and Best Practices

¹²The Copyright Office’s Latest Guidance on AI and Copyrightability