16. 윤리적 위험을 피하는 것이 아니라 예방·관리하는 방법

좋은 의도는 출발점일 뿐, 안전장치는 설계물이다

직업재활 현장에서 AI를 도입할 때 사람들은 대체로 좋은 마음으로 시작한다. 상담 기록을 덜 힘들게 쓰고 싶고, 내담자에게 더 맞는 직무를 찾고 싶고, 훈련 효과를 더 빨리 파악하고 싶다. 문제는 좋은 의도만으로는 위험이 사라지지 않는다는 데 있다. 오히려 좋은 의도가 강할수록 실무자는 이렇게 말하기 쉬워진다. "우리는 돕기 위해 쓰는 거니까 괜찮다." 바로 이 지점이 가장 위험하다.

AI는 단순한 자동완성 기능이 아니다. 사람의 가능성을 해석하고, 우선순위를 나누고, 추천과 경고를 만들어 내는 도구다. 그래서 직업재활에서 AI는 편의 기능이 아니라 판단 환경을 바꾸는 기술로 다뤄야 한다. TILNOTE의 jang-go가 보여 주는 관점도 비슷하다. AI는 일의 속도만 바꾸는 것이 아니라, 일의 방식과 의사결정의 구조를 바꾼다.¹ 그렇다면 우리의 과제는 "위험한지 아닌지"를 흑백으로 가르는 것이 아니라, 어떤 위험이 어디서 생기고, 그것을 어떤 장치로 미리 줄이고, 생겼을 때 어떻게 바로잡을 것인가를 설계하는 일이다.

쉽게 말해, 윤리적 위험은 비를 피하듯 완전히 피하는 대상이 아니다. 우산을 준비하고, 배수로를 만들고, 미끄러운 구간에 표지판을 세우듯 예방하고 관리해야 하는 운영 과제다.

위험을 관리한다는 것은 무엇을 뜻하는가

직업재활에서 AI 위험관리는 거창한 선언이 아니다. 아주 실무적인 질문에서 시작한다. 이 도구는 무엇을 하려고 쓰는가. 어떤 정보가 들어가는가. 누가 결과를 보는가. 결과가 상담, 훈련, 취업기회, 편의 제공, 사례 우선순위에 영향을 주는가. 잘못될 경우 누가 손해를 보는가. 이 질문에 답할 수 없다면, 아직 도입할 준비가 되지 않은 것이다.²⁶

책임 있는 기관은 대개 비슷한 원칙을 가진다. 목적이 먼저 정해지고, 목적에 비해 과한 데이터는 줄이고, 사람에게 영향을 크게 주는 기능일수록 더 강한 검토를 붙이고, 장애 당사자가 실제로 쓸 수 있는지 확인하며, 문제가 생기면 이의를 제기하고 정정받을 수 있도록 한다. 여기에 더해 누가 언제 어떤 모델을 어떤 목적으로 썼는지 기록을 남겨 나중에 설명할 수 있어야 한다.³⁷⁸

결국 위험관리의 핵심은 한 문장으로 정리된다. AI를 믿는 조직이 아니라, AI를 점검할 수 있는 조직이 되어야 한다.

먼저 해야 할 일: AI 사용 목적을 한 문장으로 고정하기

현장에서 가장 흔한 실패는 기술이 먼저 들어오고 목적이 나중에 붙는 경우다. 누군가 "이 모델이 문서 요약을 잘합니다"라고 소개하면, 기관은 곧바로 접수 기록, 상담 메모, 평가 요약, 계획서 작성, 사후관리 보고까지 한꺼번에 얹고 싶어진다. 그러나 통제는 기능 목록이 아니라 목적 정의에서 시작한다.

좋은 목적 문장은 짧고 분명해야 한다. 예를 들어 "상담사가 작성한 초안 문장을 문법과 형식 측면에서 정리한다"는 목적은 비교적 좁고 관리 가능하다. 반면 "사례의 취업 가능성을 종합 판단한다"는 목적은 너무 넓고, 그만큼 위험도 커진다. 목적이 넓을수록 어떤 데이터든 끌어오게 되고, 인간 검토도 형식화되기 쉽다.

실무에서는 AI 사용 전마다 간단한 사용사례 카드를 만드는 것이 좋다. 카드에는 최소한 다음이 들어가야 한다. 사용 목적, 입력 데이터 종류, 결과를 보는 사람, 결과가 영향을 미치는 업무, 대체 절차, 책임자, 금지된 사용방식이다.⁶⁷ 이 카드가 없으면 AI는 금세 "일단 써 보고 나중에 정리하자"는 문화 속으로 들어간다. 그리고 위험은 대개 그 "나중"에 터진다.

위험 등급화: 모든 AI를 같은 강도로 다루지 말자

직업재활 현장에서 가장 실용적인 통제장치 중 하나는 위험 등급화다. 문장 다듬기 도구와 취업 우선순위 예측 도구를 같은 규칙으로 관리하면, 둘 중 하나는 과도하게 느슨해지거나 지나치게 무거워진다. 위험이 큰 기능일수록 더 강한 검토, 더 엄격한 기록, 더 분명한 설명 의무가 붙어야 한다.⁶⁷

아래처럼 위험 수준을 나누어 보면 현장 판단이 훨씬 쉬워진다.

핵심은 "AI가 직접 결정했는가"만 보는 것이 아니라, 결과가 사람의 실제 기회에 얼마나 큰 영향을 주는가를 보는 것이다. 화면에 "참고용"이라고 적혀 있어도, 실무자가 그 점수를 사실상 따르게 되면 그것은 이미 높은 위험 기능이다.

민감정보 최소화: 많이 아는 AI가 항상 더 좋은 AI는 아니다

직업재활 데이터는 대체로 깊고, 넓고, 사적이다. 장애 정보, 건강 상태, 복지 수급, 과거 실패 경험, 가족 지원, 통근 제약, 정서 상태, 사례 메모가 함께 묶인다. 이런 데이터는 맞춤형 지원에 도움이 되지만, 동시에 가장 위험한 자산이기도 하다. 따라서 첫 번째 통제장치는 "어떻게 더 많이 모을까"가 아니라 어떻게 덜 모을까여야 한다.³⁴⁸

실무적으로는 데이터를 세 칸으로 나누는 방식이 효과적이다. 첫째는 정말 필수인 정보다. 예를 들어 특정 직무의 수행 가능성과 직접 관련된 기능 정보, 필요한 편의 제공 정보, 일정 조정에 필요한 기본 정보가 여기에 들어간다. 둘째는 있으면 도움이 될 수 있지만 없어도 서비스가 가능한 정보다. 셋째는 원칙적으로 입력하지 말아야 할 정보다. 공개형 AI나 외부 서비스에는 이름, 주민번호, 상세 주소, 고유한 병력 서술, 자유서술 상담메모 전체를 넣지 않는 것이 기본이다.⁴⁵

특히 생성형 AI는 자유서술 텍스트를 잘 다룬다는 이유로 과도한 입력을 유혹한다. 하지만 상담 메모 전체를 넣는 순간, 드러난 개인정보뿐 아니라 맥락적 식별정보까지 함께 흘러들어 간다. 드문 장애 조합, 특정 지역의 고용 이력, 독특한 가족 상황은 이름이 없어도 재식별 단서가 된다. 그래서 민감정보 최소화는 기술의 예의가 아니라 직업재활의 기본 매너라고 봐야 한다.

익명화와 비식별화: 이름만 지운다고 끝나지 않는다

현장에서는 종종 "이름만 뺐으니 괜찮다"고 생각한다. 그러나 실제로는 이름보다 더 위험한 단서가 많다. 예를 들어 "지방 소도시 거주, 희귀 신경근육계 질환, 최근 3개월간 장거리 통근 실패, 특정 공공훈련 이수" 같은 정보 조합은 특정인을 강하게 가리킬 수 있다. 따라서 익명화는 단순 치환이 아니라 재식별 가능성을 낮추는 설계여야 한다.³⁸

실무에서 쓸 수 있는 안전한 방식은 몇 가지가 있다. 첫째, 식별정보와 서비스 데이터를 물리적으로 분리한다. 둘째, 날짜는 구체적 일자 대신 기간 정보로 바꾼다. 셋째, 희귀한 서술은 범주화한다. 넷째, 자유서술 텍스트는 필요한 항목만 추출한 구조화 데이터로 바꾸어 사용한다. 다섯째, 가능한 경우 기관 내부망이나 기업형 비공개 환경을 사용하고, 외부 학습에 재사용되지 않는 계약 조건을 확인한다.²⁴

더 나아가 여러 기관이 협력 데이터를 쓰고 싶다면, 중앙에 원본을 다 모으는 방식보다 각 기관 내부에 데이터를 두고 모델만 개선하는 분산형 접근을 검토할 수 있다. 책임 있는 AI 논의에서 연합학습 같은 접근이 주목받는 이유도 여기에 있다.² 직업재활에서는 성능 몇 퍼센트보다 누군가의 삶이 데이터 유출로 다시 다치지 않게 하는 것이 더 중요하다.

인간 검토: 마지막 버튼만 누르는 사람은 감독자가 아니다

많은 기관이 "최종 결정은 사람이 합니다"라고 말한다. 그러나 실제로는 AI가 제시한 초안, 점수, 위험등급을 사람이 거의 그대로 통과시키는 경우가 적지 않다. 이것은 인간 개입이 아니라 인간 도장에 가깝다. 책임 있는 인간 검토는 버튼을 누르는 행위가 아니라, 질문하고 수정하고 거부할 수 있는 권한과 시간을 가지는 것이다.²⁴⁵

직업재활에서 인간 검토가 반드시 필요한 지점은 분명하다. 서비스 우선순위, 직무 배치, 훈련 강도 조정, 중도탈락 위험 대응, 취업 후 유지지원 수준처럼 내담자의 기회와 부담에 영향을 주는 결과는 자동으로 흘러가면 안 된다. 이때 검토자는 최소한 네 가지를 확인해야 한다. 입력 정보가 적절했는가, 누락된 맥락이 있는가, 장애 특성이나 편의 제공 가능성이 반영되었는가, 당사자의 목표와 충돌하지 않는가.

좋은 기관은 인간 검토를 선언하지 않고 구조화한다. 예를 들어 고위험 AI 결과에는 "검토자 의견"과 "수정 사유"를 반드시 남기게 하고, AI 권고와 최종 결정이 달라졌을 때 그 차이를 기록한다. 이 기록은 귀찮아 보이지만, 나중에 가장 중요한 자산이 된다. 왜냐하면 그 조직이 AI를 그대로 믿은 것인지, 맥락 속에서 다룬 것인지를 보여 주기 때문이다.⁶⁷

장애포용 테스트: 평균 사용자가 아니라 실제 이용자를 기준으로 검증하기

AI가 정확해 보여도, 장애인이 접근할 수 없으면 직업재활 도구로는 반쪽짜리다. 그래서 도입 전 테스트는 성능검사만으로 끝나면 안 된다. 반드시 장애포용 테스트가 함께 가야 한다.³⁹

여기서 중요한 것은 "접근성 옵션이 있다"는 설명이 아니라, 실제 사용 시나리오다. 스크린리더로 처음 접속해 메뉴를 찾을 수 있는가. 키보드만으로 모든 기능이 동작하는가. 자동 자막의 정확도는 충분한가. 시각 자극이 과도하지 않은가. 긴 문장을 쉬운 언어로 바꿀 수 있는가. 느린 타이핑이나 AAC 사용 환경에서도 조급한 시간제한 없이 쓸 수 있는가. 보조공학과 충돌하지 않는가.³⁹

특히 직업재활에서는 장애유형 간 차이를 함께 봐야 한다. 시각장애 사용자에게 접근 가능한 도구가 발달장애 사용자에게는 너무 복잡할 수 있고, 자막이 있는 화상도구가 있어도 감각 과부하를 줄이는 화면구성이 없다면 어떤 이용자에게는 여전히 어렵다. 따라서 테스트는 "장애인 1명이 써 봤다" 수준이 아니라, 다양한 장애 경험을 반영한 다중 시나리오 검증이어야 한다.

장애포용 테스트의 가장 좋은 방법은 실제 당사자를 공동평가자로 참여시키는 것이다. 전문가가 놓치는 문제를 실제 사용자는 아주 빨리 발견한다. 버튼의 위치, 문장의 난도, 경고음의 강도, 대기시간의 압박감 같은 것은 책상 위 리뷰만으로 잘 보이지 않는다.

편향 감사: 전체 평균이 아니라 누가 반복적으로 손해 보는지 보기

AI가 평균적으로 괜찮게 작동한다는 말은, 특정 집단에는 꽤 나쁘게 작동할 수 있다는 뜻이기도 하다. 직업재활에서는 바로 이 "특정 집단"이 중요하다. 장애유형, 중복장애 여부, 성별, 연령, 지역, 디지털 접근 수준, 보조공학 사용 여부에 따라 결과를 나누어 보지 않으면, 평균 정확도 뒤에 숨어 있는 차별을 놓치기 쉽다.²³⁸

편향 감사는 생각보다 어렵지 않게 시작할 수 있다. 예를 들어 직무추천 도구라면 누구에게 낮은 점수가 자주 나오는지, 누가 추천 직종의 폭이 지나치게 좁은지, 누가 반복적으로 부정확한 매칭을 받는지 살펴볼 수 있다. 중도탈락 위험 예측이라면 어떤 집단에 거짓 경고가 많은지, 반대로 실제 도움이 필요한데 놓치는 집단은 없는지 봐야 한다. 이때 중요한 것은 단순 정확도보다 거짓양성, 거짓음성, 설명 불가능 사례, 과도한 보수성 같은 패턴이다.²⁸

실무에서는 분기별 또는 반기별 감사 주기를 두는 것이 현실적이다. 새로운 모델 버전이 들어오거나, 입력 데이터 구조가 바뀌거나, 대상 집단이 달라졌다면 즉시 재감사를 하는 것이 좋다. 감사 결과는 내부 문서로만 묻어 두지 말고, 적어도 조직 내부의 책임자와 실무팀이 함께 읽고 수정 계획을 세워야 한다. 편향 감사의 목적은 누군가를 혼내는 것이 아니라, 같은 오류가 구조적으로 반복되지 않게 만드는 것이다.

설명 의무: 결과를 보여 주는 것과 이해시키는 것은 다르다

설명 의무는 흔히 기술적 설명으로 오해된다. 하지만 직업재활에서 중요한 것은 알고리즘 구조를 장황하게 말하는 것이 아니다. 당사자와 실무자가 결과의 의미를 이해하고 질문할 수 있게 만드는 것이다.²⁶

설명은 적어도 세 시점에서 필요하다. 첫째, AI를 사용할 때 미리 설명해야 한다. 어떤 목적으로 쓰는지, 어떤 데이터가 들어가는지, 동의하지 않을 때 대안이 있는지를 알려야 한다. 둘째, AI 결과가 실제 서비스에 영향을 줄 때 설명해야 한다. 왜 이런 추천이 나왔는지, 어떤 정보가 크게 작용했는지, 누락되었을 수 있는 맥락은 무엇인지 말할 수 있어야 한다. 셋째, 이의제기가 들어왔을 때 다시 설명해야 한다. 단순 반복이 아니라, 재검토 결과와 수정 여부를 포함한 설명이어야 한다.⁵⁶

좋은 설명은 아주 복잡하지 않다. 예를 들어 "이 추천은 최근 훈련 출결, 선호 직무, 통근 가능 범위, 현재 확인된 편의 제공 조건을 바탕으로 나왔습니다. 다만 실제 직무환경 적응력과 지원체계 변화는 충분히 반영되지 않았을 수 있어 상담자 검토를 거쳐 조정합니다"라고 말할 수 있다면, 이미 훨씬 나은 시스템이다.

이의제기 절차: AI가 틀릴 수 있다는 사실을 제도에 써 넣기

직업재활에서 가장 중요한 통제장치 중 하나는 이의제기 절차다. 아무리 잘 만든 시스템도 틀릴 수 있고, 특히 소수 집단일수록 더 자주 틀릴 수 있다. 그런데 이의제기 창구가 없으면, 그 오류는 개인의 억울함으로 끝나고 조직은 배우지 못한다.⁵⁶

좋은 이의제기 절차는 어렵지 않아야 한다. 복잡한 법률문서나 긴 온라인 양식이 아니라, 상담 현장에서 바로 제기할 수 있고, 전화나 대면이나 쉬운 글 버전 등 여러 방식으로 접근 가능해야 한다. 또한 "이의제기하면 불이익이 있지 않을까" 하는 두려움을 줄이기 위해, 불이익 금지 원칙과 처리 기한을 분명히 해야 한다.

실무적으로는 세 단계가 좋다. 먼저 담당 실무자의 1차 재검토가 있다. 여기서는 입력오류, 누락정보, 오해된 맥락을 확인한다. 다음으로 고위험 사례는 별도 책임자나 소규모 검토회의가 다시 본다. 마지막으로 결과를 정정했는지, 유지했는지, 왜 그런지 서면 또는 이해 가능한 방식으로 알려 준다. 중요한 것은 이의제기 건수를 귀찮은 민원으로 보지 않는 태도다. 그것은 조직이 자기 AI를 점검할 수 있게 해 주는 현장의 센서다.

사용기록 관리: 감시가 아니라 책임 추적을 위한 로그

로그라고 하면 사람들은 종종 감시를 떠올린다. 하지만 여기서 말하는 사용기록은 직원 감시가 아니라 책임 추적성을 위한 것이다. 문제가 생겼을 때 누가 어떤 모델을 언제 어떤 목적으로 어떤 데이터 유형으로 사용했고, 그 결과가 어떤 결정에 반영되었는지 알 수 있어야 한다.⁶⁷⁸

최소한의 기록 항목은 다음 정도면 충분하다.

• 사용 일시와 사용자 역할

• 사용한 도구 또는 모델 버전

• 입력한 데이터의 범주와 민감도

• AI 출력의 유형

• 최종 인간 검토 여부와 수정 내용

• 결과가 연결된 업무 단계

• 오류, 이의제기, 사고 발생 여부

이 기록은 많이 모으는 것이 능사가 아니다. 필요한 만큼만, 접근권한을 제한해, 보관기간을 정해 관리해야 한다. 중요한 것은 나중에 "왜 이런 결정이 나왔는지"를 물었을 때 침묵하지 않을 수 있는 정도의 흔적을 남기는 일이다. 로그가 없는 조직은 기억에 의존하고, 기억에 의존하는 조직은 대개 위기 때 가장 약하다.

공급업체와 외부 도구 관리: 내부 실수만 막아서는 부족하다

현장의 많은 AI는 기관이 직접 개발한 것이 아니라 외부 업체가 제공한다. 이때 흔한 착각은 "벤더가 만든 제품이니 윤리는 그쪽 책임"이라는 생각이다. 하지만 실제 피해는 기관의 서비스 맥락 안에서 일어난다. 따라서 공급업체 관리도 핵심 통제장치다.³⁶⁷

도입 전에는 적어도 몇 가지를 물어야 한다. 데이터가 어디에 저장되는가. 고객 데이터가 모델 재학습에 쓰이는가. 삭제 요청은 가능한가. 접근성 테스트를 실제로 했는가. 장애포용 사용자 테스트 기록이 있는가. 성능은 어떤 집단별로 검증했는가. 모델 변경 시 기관에 통지하는가. 로그 제공과 감사 대응이 가능한가. 장애나 오류 발생 시 대응 시간은 어떠한가.³⁷

이 질문에 명확히 답하지 못하는 벤더라면, 기능이 화려해도 도입을 서두를 이유가 없다. 직업재활에서는 멋진 데모보다 설명 가능한 계약 조건이 더 중요하다.

운영 중 모니터링: 도입 심사로 끝나지 않는다

AI는 도입할 때만 점검하면 끝나는 기술이 아니다. 데이터가 바뀌고, 사용환경이 달라지고, 모델이 업데이트되면 성능과 위험도 함께 바뀐다. 그래서 필요한 것이 운영 중 모니터링이다.⁶⁷

예를 들어 처음에는 문서 정리용으로만 쓰던 도구가 몇 달 뒤 상담 분류나 위험추정에까지 쓰이기 시작할 수 있다. 또는 특정 장애유형 이용자가 늘어나면서 예전보다 오류가 커질 수도 있다. 따라서 기관은 정기적으로 세 가지를 봐야 한다. 현재 사용 목적이 처음 승인된 범위 안에 있는지, 오류와 민원이 어느 지점에서 늘고 있는지, 접근성과 공정성 문제가 새로운 방식으로 나타나고 있지 않은지다.

운영 중 모니터링은 꼭 거대한 위원회만 뜻하지 않는다. 월 1회 짧은 사례 점검회의도 충분히 시작점이 될 수 있다. 중요한 것은 "문제가 생기면 그때 보자"가 아니라 문제가 커지기 전에 패턴을 읽는 습관이다.

사고 대응과 사용 중지 기준: 멈출 줄 아는 조직이 안전하다

좋은 통제체계는 언제 사용할지뿐 아니라 언제 멈출지도 정해 둔다. 예를 들어 특정 모델이 장애포용 테스트에서 반복적으로 실패하거나, 특정 집단에 대한 오분류가 일정 기준을 넘거나, 민감정보 입력이 발견되거나, 설명 불가능한 결과가 누적되면 즉시 중지하고 재평가해야 한다.⁷⁸

이 중지 기준이 미리 정해져 있지 않으면, 조직은 대개 관성에 따라 계속 사용한다. 실무자는 이미 익숙해졌고, 관리자는 바꾸는 비용을 걱정하며, 벤더는 업데이트를 약속한다. 그러나 직업재활 현장에서 늦은 중지는 실제 사람의 기회 손실로 이어질 수 있다.

따라서 기관은 간단한 사고 대응 절차를 문서화해 두는 것이 좋다. 사고 발견, 임시 중지, 영향 범위 확인, 당사자 통지, 정정 또는 재평가, 재발방지 계획 수립의 순서다. 이것은 과장된 비상계획이 아니라, 실수를 숨기지 않고 바로잡는 기술이다.

현장에서 바로 쓸 수 있는 통제 문서 다섯 가지

실무자는 긴 원칙보다 짧은 도구를 더 자주 쓴다. 직업재활 기관이 실제로 갖추면 좋은 최소 문서는 다음 다섯 가지다.

• AI 사용사례 카드: 목적, 입력데이터, 영향받는 업무, 책임자, 금지사항을 한 장에 정리한다.

• 데이터 최소화 표: 필수, 선택, 금지 입력정보를 구분해 실무자가 헷갈리지 않게 한다.

• 장애포용 테스트 시나리오: 시각, 청각, 지체, 발달, 정신·인지, AAC 사용자 관점에서 점검 항목을 만든다.

• 인간 검토 기록지: AI 권고, 검토자 판단, 수정 이유, 당사자 의견 반영 여부를 남긴다.

• 이의제기·사고 로그: 제기 내용, 처리 기한, 조치 결과, 재발방지 계획을 축적한다.

이 다섯 가지만 있어도 윤리 논의가 추상적인 구호에서 운영 가능한 시스템으로 바뀌기 시작한다.

기관 문화가 마지막 안전장치다

아무리 좋은 절차가 있어도 조직문화가 "AI가 더 객관적이잖아요"라는 말에 기울어 있으면 통제는 약해진다. 반대로 문화가 "AI는 초안일 뿐, 설명되지 않으면 믿지 않는다"는 태도를 가지면 같은 도구를 써도 위험은 크게 줄어든다.⁴⁵

직업재활에서 필요한 문화는 세 가지다. 첫째, 질문해도 되는 문화다. 실무자가 결과를 의심하고 수정해도 눈치 보지 않아야 한다. 둘째, 실패를 숨기지 않는 문화다. 오분류나 불만 제기를 체면 손상으로 보지 않고 학습 기회로 봐야 한다. 셋째, 당사자 경험을 전문지식으로 인정하는 문화다. 장애 당사자의 불편 호소는 사용법 미숙이 아니라, 설계 결함을 드러내는 신호일 수 있다.³⁹

결국 윤리적 위험관리는 규정집만의 문제가 아니다. 누가 말할 수 있는가, 누가 고칠 수 있는가, 누가 멈출 수 있는가의 문제다.

이 장의 핵심 정리

직업재활에서 AI의 윤리적 위험은 "쓰지 않으면 피할 수 있는 문제"가 아니다. 이미 많은 기관이 기록 작성, 정보 추천, 훈련 지원, 사례관리, 예측분석에 AI를 쓰기 시작했고, 앞으로 그 흐름은 더 커질 가능성이 높다. 따라서 더 현실적인 질문은 이것이다. 어떻게 하면 사람의 권리와 존엄을 해치지 않도록 AI를 설계하고 운영할 것인가.

그 답은 의외로 분명하다. 목적을 한 문장으로 고정하고, 위험을 등급화하고, 민감정보를 최소화하고, 익명화를 실제 수준으로 수행하고, 인간 검토를 형식이 아닌 책임으로 만들고, 장애포용 테스트와 편향 감사를 정례화하고, 설명 의무와 이의제기 절차를 제도화하고, 사용기록을 남기고, 공급업체와 운영 중 모니터링까지 묶어 관리해야 한다.²⁶⁷

좋은 기관은 AI를 많이 쓰는 기관이 아니라, AI를 써도 사람의 기회가 줄어들지 않게 만드는 기관이다. 그리고 그 차이는 결국 기술 성능보다 통제 설계에서 갈린다. 직업재활의 AI는 똑똑해야 하지만, 그보다 먼저 안전해야 하고, 설명 가능해야 하며, 접근 가능해야 하고, 수정 가능해야 한다. 그래야 AI가 사람을 평가하는 도구가 아니라, 사람의 가능성을 더 정교하게 지원하는 도구가 될 수 있다.

참고

¹jang-go 블로그 - TILNOTE

²Ethical AI in Vocational Rehabilitation

³Ethical-AI-and-Vocational-Rehabilitation GitHub 저장소

⁴Artificial Intelligence in VR Counseling: Powerful Tool, Not a Substitute for Judgment

⁵CRCC AI Guidelines: What Rehabilitation Counselors Need to Know About Ethics & Privacy

⁶What is AI Governance? IBM

⁷AI lifecycle risk management: ISO/IEC 42001:2023 for AI governance

⁸Auditing artificial intelligence

⁹Inclusive AI for people with disabilities: Key considerations