성능보다 먼저 확인할 것
기업에서 LLM을 파인튜닝할 때 가장 위험한 착각은 "좋은 답을 하면 충분하다"는 생각입니다. 실제 운영에서는 모델이 어떤 데이터를 배웠는지, 어떤 정보를 노출할 수 있는지, 누가 최종 판단 책임을 지는지가 더 중요할 때가 많습니다.
따라서 파인튜닝 프로젝트는 데이터 승인, 보안 검토, 법무 검토, 배포 승인 절차를 처음부터 포함해야 합니다. 모델 성능 평가는 이 절차 위에서 이루어져야 합니다.
AI 생성 이미지
개인정보와 영업비밀은 학습 전에 줄인다
학습 데이터에는 이름, 전화번호, 이메일, 계좌번호 같은 개인정보뿐 아니라 고객사명, 계약 조건, 내부 가격 정책, 장애 보고서 같은 영업비밀도 섞일 수 있습니다. 특히 의료, 금융, 법률, 고객지원 데이터는 한 문장 안에 민감한 사실이 함께 들어가는 경우가 많습니다.
기본 원칙은 데이터 최소화입니다. 업무 목적에 꼭 필요한 필드만 남기고 나머지는 삭제합니다. 필요한 경우 이름은 고객A, 병원명은 기관명, 금액은 범위값처럼 바꿉니다. 정규식과 탐지 도구로 주민번호, 이메일, 전화번호를 찾고, 개체명 인식이나 LLM 검수로 사람 이름과 기관명을 추가 탐지합니다. 마지막에는 사람이 샘플을 확인해야 합니다.
학습 후에도 위험은 끝나지 않습니다. 멤버십 추론 공격은 특정 기록이 학습 데이터에 포함되었는지 추정하는 공격입니다. 데이터 추출 공격은 모델이 학습 중 외운 문장이나 개인정보를 출력하게 만드는 공격입니다. 파인튜닝된 모델은 이런 공격에 노출될 수 있으므로, 민감 샘플 재현 여부와 개인정보 출력 가능성을 별도 평가해야 합니다.1
사용자 단위 보호가 필요한 경우
기업 데이터에서는 한 사람이 여러 샘플을 제공합니다. 고객 한 명이 상담 30건을 남겼거나, 환자 한 명이 여러 진료 기록을 가진 경우가 그렇습니다. 이때 샘플 하나만 보호해도 사용자의 전체 패턴이 드러날 수 있습니다.
이런 상황에서는 사용자 단위 차등 개인정보보호를 검토합니다. 차등 개인정보보호는 학습 과정에 통제된 노이즈를 넣어 특정 개인의 데이터 포함 여부를 알아내기 어렵게 만드는 방법입니다. 사용자 단위 방식은 한 샘플이 아니라 한 사용자가 제공한 여러 샘플 전체를 보호 대상으로 봅니다. 대신 성능 저하와 학습 비용 증가가 생길 수 있으므로, 사용자별 기여량 제한, 보존 기간, 접근 권한, 삭제 요청 대응까지 함께 설계해야 합니다.2
저작권과 라이선스는 데이터 단계에서 기록한다
공개된 문서라고 해서 학습에 자유롭게 쓸 수 있는 것은 아닙니다. 웹 크롤링 데이터, 공개 데이터셋, 사내 구독 문서, 오픈소스 코드, AI 생성물은 각각 이용 조건이 다릅니다. 학습 가능 여부, 상업적 이용 가능 여부, 재배포 제한, 출처 표시 의무, 파생물 조건을 확인해야 합니다.
미국 저작권청도 AI 학습에 쓰이는 저작물, 생성형 AI 산출물의 저작권성, 디지털 복제물 문제를 별도 쟁점으로 다루고 있습니다.3 관할권마다 판단이 다를 수 있으므로 "인터넷에서 찾았다"는 이유만으로 학습 데이터에 넣지 말아야 합니다. 데이터셋마다 출처, 수집일, 라이선스, 사용 승인자, 삭제 요청 대응 방식을 남기는 것이 안전합니다.
운영 환경의 공격을 가정한다
배포된 LLM은 사용자의 질문만 받지 않습니다. RAG 문서, 웹페이지, 이메일, 플러그인 응답 안에 숨은 악성 지시도 함께 받을 수 있습니다. 직접 프롬프트 인젝션은 사용자가 노골적으로 시스템 규칙을 무시하라고 지시하는 공격입니다. 간접 프롬프트 인젝션은 문서 안에 숨은 지시가 검색을 통해 모델에 전달되는 공격입니다. Jailbreak는 역할극, 인코딩, 번역, 우회 표현으로 안전 정책을 깨려는 시도입니다.4
방어는 한 겹으로 끝나지 않습니다. 입력 필터링, 출력 필터링, 검색 문서 신뢰도 검증, 권한 분리, 최소 권한 원칙, 민감 작업의 사람 승인, 레드팀 테스트를 함께 적용해야 합니다. RAG 시스템에서는 문서 출처와 사용자 권한을 확인하고, 모델이 검색 문서에 없는 내용을 추측하지 않도록 해야 합니다.
고위험 도메인은 사람의 승인을 남긴다
금융, 의료, 법률, 채용처럼 사람의 권리와 안전에 영향을 주는 영역에서는 모델의 판단을 자동 확정하면 안 됩니다. 모델은 초안 작성, 위험 신호 탐지, 근거 문서 요약 같은 보조 역할에 머물러야 합니다.
운영 절차에는 도메인 전문가의 검토 기준, 승인 단계, 예외 처리, 사용자 고지, 이의 제기 경로가 포함되어야 합니다. 예를 들어 의료 상담 모델은 진단을 확정하지 않고 의료진 상담을 안내해야 하며, 법률 모델은 구체 사건의 최종 판단을 변호사 검토 없이 제공하지 않아야 합니다.
감사 가능한 기록을 남긴다
책임 있는 활용은 문서화로 완성됩니다. 배포 전에는 위험 등급, 데이터 출처, 전처리 방식, 모델 버전, 평가 결과, 안전성 테스트, 법무·보안·컴플라이언스 승인 내역을 남깁니다. 배포 후에는 요청 ID, 시간, 모델 버전, 입력·출력 길이, 필터 작동 여부, 지연시간, 비용, 사용자 피드백을 기록합니다. 민감한 원문은 가능하면 해시나 요약값으로 보관하고, 로그 접근 권한도 별도로 통제해야 합니다.5
LLM은 한 번 배포하면 끝나는 시스템이 아닙니다. 데이터가 바뀌고, 공격 방식이 바뀌고, 규제도 바뀝니다. 그래서 좋은 파인튜닝 프로젝트는 모델 성능뿐 아니라 데이터 권리, 개인정보 보호, 보안 통제, 책임 있는 승인 체계를 함께 운영합니다.
참고
1Privacy in Fine-tuning Large Language Models: Attacks, Defenses, and Future Directions
2Fine-tuning LLMs with user-level differential privacy
3Copyright and Artificial Intelligence | U.S. Copyright Office
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.