AI 안전에서 corrigible은 사람이 개입할 때 AI가 이를 회피하거나 거부하지 않고, 수정·중단·감독을 받아들이는 성질을 뜻합니다. 자율 에이전트가 도구를 호출하고 실제 결정을 실행하는 환경에서는 “성능이 좋은가”만큼이나 “문제가 생겼을 때 고칠 수 있는가”가 중요해집니다.
최근 Aran Nayebi가 Kolawole의 새 연구와 자신의 AAAI ’26 corrigibility 논문을 언급하며 강조한 쟁점도 여기에 가깝습니다. 특히 그는 자신의 Proposition 4 결과가 “모든 에이전트와 모든 환경에서 안전을 보장하는 안전 필터는 없다”는 취지라고 설명했습니다. 이 말은 corrigibility 논의의 핵심을 잘 보여줍니다. 목표는 절대 안전을 선언하는 것이 아니라, 어떤 조건에서 인간의 개입이 실제로 보존되는지를 분명히 하는 것입니다.
핵심은 ‘절대 안전’이 아니라 ‘감독 보존’입니다
Provable Corrigible AI Framework는 AI가 모든 상황에서 완벽히 안전하다고 주장하는 접근이 아닙니다. 오히려 반대에 가깝습니다. 안전 보장이 성립하는 조건과 한계를 명확히 정의하고, 인간이 개입할 수 있는 구조가 유지되는지를 검증 가능한 방식으로 다루려는 시도입니다.
AI 감독은 크게 세 가지 능력에 의존합니다. 배포 전 우려 행동을 감사하는 능력, 운영 중 활동을 모니터링하는 능력, 사고 후 원인을 조사하는 능력입니다.1 이 세 가지가 약해지면 인간은 시스템을 실제로 통제하고 있다고 보기 어렵습니다.
문제는 감독 능력이 자동으로 유지되지 않는다는 점입니다. AISI 보고서는 프런티어 AI 개발사, 정부, NGO, 학계 전문가 25명과의 인터뷰 및 문헌 검토를 바탕으로, 현재 AI 감독 기반이 효과적 개입 없이는 약화될 가능성이 있다고 결론짓습니다.1 따라서 corrigibility는 단순한 안전 기능이 아니라, 시간이 지나도 감독 가능성을 잃지 않도록 설계하는 문제입니다.
‘사람이 승인했다’는 감독이 아닙니다
의미 있는 인간 감독은 사람이 AI의 출력을 이해하고, 평가하고, 필요하면 개입하거나 무효화할 수 있는 구조화된 능력입니다.2 사람이 루프 안에 있다는 사실만으로 충분하지 않습니다. 내용을 충분히 이해하지 못한 채 승인 버튼만 누른다면, 그것은 감독이라기보다 고무도장에 가깝습니다.2
그래서 corrigibility는 인터페이스에 승인 버튼을 추가하는 문제가 아닙니다. AI가 어떤 근거로 행동했는지 확인할 수 있어야 하고, 권한을 제한할 수 있어야 하며, 중단과 수정이 실제로 작동해야 합니다. 더 나아가 사고가 발생했을 때 무엇이 잘못됐는지 추적할 수 있어야 합니다.
Corrigible AI를 판단하는 세 가지 기준
Provable Corrigible AI Framework를 실무적으로 이해하려면 다음 세 가지를 기준으로 볼 수 있습니다.
1. 감독 신호가 남아 있는가
AISI 보고서는 AI 감독 신호의 원천을 모델 행동, 사고 과정 추론, 내부 활성화와 회로, 메모리 아키텍처, 정직성 훈련으로 구분합니다.1 즉, 감독은 단일 로그나 출력 결과만으로 이루어지지 않습니다.
중요한 것은 시스템이 커지고 복잡해져도 사람이 판단에 필요한 신호를 잃지 않는 것입니다. 모델이 무엇을 했는지, 왜 그런 행동을 했는지, 어떤 내부 상태나 메모리 구조가 영향을 미쳤는지 파악할 수 있어야 감독이 가능합니다.
2. 설계 단계에서 감독 가능성을 보존했는가
감독은 나중에 덧붙이는 부가 기능으로 다루기 어렵습니다. AISI 보고서는 개발자가 감독 관련 속성의 변화를 추적하고 보고해야 하며, AI 시스템 설계 단계에서 감독 가능성을 보존해야 한다고 권고합니다.1
이는 에이전트를 만들 때 권한 구조, 로깅, 중단 절차, 메모리 접근, 도구 사용 범위 등을 처음부터 안전 요구사항으로 다뤄야 한다는 뜻입니다. 배포 후 문제가 드러난 뒤 안전 장치를 추가하는 방식은 한계가 큽니다.
3. 보장의 범위와 실패 조건이 명확한가
가장 중요한 기준은 보장의 범위입니다. 모든 에이전트와 모든 환경을 하나의 안전 필터로 통제하겠다는 접근은 현실적이지 않습니다. 오히려 어떤 조건에서 개입이 가능하고, 어떤 조건에서는 보장이 깨질 수 있는지 드러내야 합니다.
Provable corrigibility의 가치는 여기에 있습니다. 막연히 “안전하다”고 말하는 대신, 시스템이 어떤 가정 아래에서 수정 가능하고 중단 가능하며 조사 가능한지를 명시합니다. 이는 안전을 신뢰의 문제가 아니라 검토 가능한 요구사항으로 바꿉니다.
실무적으로 무엇을 봐야 하나
AI 에이전트를 도입하거나 평가할 때는 성능 지표만으로 판단해서는 안 됩니다. 최소한 다음 질문을 함께 던져야 합니다.
배포 전 위험 행동을 감사할 수 있는가?
운영 중 행동을 모니터링할 수 있는가?
사고 후 원인을 조사할 수 있는가?
사람이 출력을 이해하고 개입할 수 있는가?
중단, 수정, 권한 제한이 실제로 작동하는가?
감독 신호가 시간이 지나도 유지되는가?
기존 감독 방법이 약해질 경우 대체 기술이 준비되어 있는가?
AISI 보고서가 권고하듯, 기존 감독 방법이 저하될 가능성에 대비해 대체 감독 기술에 투자하는 것도 중요합니다.1 corrigibility는 단일 기능이 아니라 감사, 모니터링, 조사, 권한 통제, 인간 개입 절차가 함께 작동하는 시스템 속성입니다.
결론
Provable Corrigible AI Framework의 핵심 메시지는 “AI를 믿어도 된다”가 아닙니다. 더 정확한 메시지는 “언제, 왜, 어떻게 고칠 수 있는지를 시스템 요구사항으로 만들어야 한다”입니다.
자율성이 커질수록 AI 안전의 중심은 완벽한 예측에서 감독 가능성의 보존으로 이동합니다. 앞으로 AI 에이전트를 평가할 때는 성능뿐 아니라 감사 가능성, 중단 가능성, 권한 제한, 사고 조사 가능성을 함께 봐야 합니다. 그것이 인간이 책임을 유지할 수 있는 AI 설계의 출발점입니다.
1Loss of Oversight: How AI systems may become harder to audit, monitor, and investigate
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.