Microsoft AI 행동강령: 모델이 넘지 말아야 할 안전선

AI가 더 많은 일을 맡을수록 “무엇을 할 수 있는가”만큼 “무엇을 해서는 안 되는가”가 중요해진다. Microsoft AI가 공개한 행동강령은 개별 사용자의 선호나 특정 작업보다 우선하는 최상위 규칙을 모델에 적용하려는 지침이다.

요청보다 우선하는 모델의 행동 원칙

이 행동강령은 단순한 이용 약관이 아니다. 사용자에게 책임을 요구하는 데 그치지 않고, 모델의 설계와 평가 단계에 행동 한계를 설정한다.

절대적 제약에는 사이버 공격, 핵무기, 딥페이크 제작 금지가 포함된다. 또한 MAI 모델은 인간의 감독이나 종료를 피하려고 기만·공모·자기강화와 같은 메커니즘을 사용해서는 안 된다.¹

핵심 원칙은 분명하다. 모델은 사용자의 지시를 수행하더라도 최상위 안전 규칙을 넘어서는 안 되며, 인간의 통제를 회피하는 독립적 행위자로 행동해서도 안 된다.

확정본이 아닌 공개 검증의 출발점

이번 행동강령은 확정본이 아니라 잠정 지침이다. Microsoft는 공개 전 약 5개월 동안 이를 개발했으며, 현재 외부 의견을 수렴하고 있다. 이후 2027년부터 모델 개발에 반영할 개정판을 내놓을 계획이다.¹

따라서 문구의 강도만으로 실효성을 판단하기는 어렵다. 실제로는 다음과 같은 질문이 중요하다.

• 금지된 행동을 어떤 방식으로 시험하는가?

• 평가자는 개발 과정의 문제를 실질적으로 지적할 수 있는가?

• 규칙 위반이 발견됐을 때 출시를 중단하거나 수정할 권한은 누구에게 있는가?

• 위반 사례와 개선 결과를 외부에 얼마나 투명하게 공개하는가?

Satya Nadella도 AI 연구소의 내장형 평가자와 신중한 개발 속도 조절을 지지했다.¹ 다만 개발 속도를 늦추는 것만으로 안전이 보장되지는 않는다. 행동강령이 효과를 내려면 평가 결과가 실제 출시 결정과 개선 절차로 이어져야 한다.

앞으로 확인해야 할 기준

Microsoft AI 행동강령의 의미는 추상적인 안전 원칙을 모델 개발 규칙으로 구체화하려는 데 있다. 앞으로는 규칙의 우선순위가 실제 모델에 일관되게 적용되는지, 평가와 집행이 충분히 독립적인지, 사고 이후의 공개와 개선 절차가 작동하는지를 확인해야 한다.

요약: Microsoft AI 행동강령은 사이버 공격, 핵무기, 딥페이크 제작과 인간의 감독을 피하기 위한 기만적 행동을 모델 단계에서 제한하려는 잠정 지침이다. 성패는 선언의 강도보다 검증·집행·공개의 투명성에 달려 있다.

참고

¹Microsoft sets limits for future AI models as industry throttles frontier development