13. 예측분석과 데이터 기반 의사결정: 가능성과 함정
13. 예측분석과 데이터 기반 의사결정: 가능성과 함정
숫자가 사람보다 먼저 위험 신호를 볼 수 있을까
직업재활 현장에서 데이터는 오래전부터 있었다. 접수 정보가 있었고, 상담기록이 있었고, 평가 결과가 있었고, 훈련 출결과 취업 결과도 있었다. 다만 예전에는 이 자료를 주로 뒤돌아보는 데 썼다. 작년 실적이 어땠는지, 어느 프로그램의 취업률이 높았는지, 어떤 집단의 중도탈락이 많았는지를 확인하는 식이었다. 그런데 인공지능과 머신러닝이 들어오면서 질문이 달라졌다. 이제는 과거를 정리하는 데서 멈추지 않고, 앞으로 무슨 일이 일어날 가능성이 높은지를 미리 가늠해 보려 한다.1
이것이 바로 예측분석이다. 예측분석은 마법 수정구슬이 아니다. 누군가의 미래를 확정하는 기술도 아니다. 그보다는 과거에 관찰된 패턴을 바탕으로, 특정 결과가 나타날 가능성을 확률로 추정하는 일에 가깝다. 오늘 비가 올지 100퍼센트 단정하는 일기예보가 아니라, 강수 확률을 보고 우산을 챙길지 판단하는 일과 비슷하다. 중요한 것은 확률을 사실처럼 오해하지 않는 것이다.
직업재활에서 예측분석이 던지는 질문은 꽤 현실적이다.
누가 취업 성과를 낼 가능성이 높은가
누가 훈련 과정에서 더 빠르게 성장하거나 더 큰 어려움을 겪을 가능성이 있는가
누가 중도탈락 위험이 높아 조기 개입이 필요한가
제한된 시간과 자원을 어디에 먼저 투입해야 효과와 형평성을 함께 지킬 수 있는가
이 질문들은 매우 매력적이다. 실무자는 늘 시간이 부족하고, 기관은 늘 자원이 부족하다. 그래서 데이터가 먼저 신호를 알려준다면 업무는 훨씬 효율적으로 보인다. 하지만 바로 그 지점에서 가장 조심해야 한다. 데이터가 강력할수록, 그 데이터가 만든 판단을 더 많이 의심해야 한다.
직업재활에서 예측분석은 실제로 무엇을 할 수 있는가
예측분석은 생각보다 다양한 장면에 들어갈 수 있다. 가장 대표적인 것은 취업 성과 예측이다. 미국의 RSA-911 사례 수준 데이터를 활용한 연구에서는 머신러닝을 이용해 직업재활 고객 특성과 서비스 정보가 취업 여부와 서비스 수혜 상태를 얼마나 예측하는지 살펴보았다. 이 접근의 장점은 전통적인 회귀분석보다 더 많은 변수 조합을 탐색할 수 있고, 복잡한 상호작용을 비교적 유연하게 다룰 수 있다는 데 있다.1
세부 집단을 다룬 연구들도 실무자에게 중요한 힌트를 준다. 아시아계 미국인 장애인 직업재활 이용자를 분석한 연구에서는 직업재활 상담과 취업알선 서비스가 경쟁적 통합고용 성과를 예측하는 데 의미 있는 변수로 나타났다.2 지적·발달장애 청소년과 청년을 대상으로 한 대규모 분석에서는 지원고용이 경쟁적 통합고용과 매우 강하게 연결되었고, 직장 지원, 취업알선, 구직지원 같은 부가 서비스도 결과에 중요한 차이를 만들었다. 다만 그 최종 모형이 설명한 분산은 약 27퍼센트 수준이었다.3 이 숫자는 흥미롭다. 예측이 가능하다는 뜻이지만, 동시에 예측하지 못하는 영역이 훨씬 많다는 뜻이기도 하다.
신체장애인을 다룬 연구에서도 비슷한 그림이 보인다. 직장 지원, 보조기술 지원, 취업알선, 직업재활 상담이 고용 성과 예측에 기여했다.4 시각장애인을 대상으로 한 체계적 문헌고찰에서는 교육 수준, 신청 시점의 경제적 자립도, 부가 장애 여부 같은 요인이 반복적으로 보고되었지만, 정작 국가나 기관 수준 변수, 그리고 구체적인 서비스 변수는 충분히 분석되지 않은 경우가 많았다고 지적했다.5
이 연구들을 한 줄로 요약하면 이렇다. 직업재활의 예측모형은 개인 특성만이 아니라 서비스 과정 그 자체를 함께 봐야 한다. 다시 말해, 예측분석은 사람을 점수화하는 도구가 아니라 서비스 설계를 더 잘하기 위한 도구가 되어야 한다.
취업 성과 예측에서 실무자가 꼭 봐야 할 것
취업 성과를 예측한다고 하면 많은 사람이 먼저 연령, 장애유형, 학력, 경력 공백, 기초생활 상태 같은 배경 정보를 떠올린다. 물론 이런 변수는 실제로 자주 쓰인다. 하지만 실무적으로 더 중요한 것은 바꿀 수 있는 변수와 바꾸기 어려운 변수를 구분하는 일이다.
예를 들어 학력은 당장 바꾸기 어렵지만, 직무분석의 정밀도는 바꿀 수 있다. 통근지원 여부도 바꿀 수 있다. 사업체 개발의 질도 바꿀 수 있고, 취업알선 방식도 바꿀 수 있다. 보조공학 제공 시점도 조정할 수 있다. 직업상담의 빈도와 질도 개선할 수 있다. 즉 좋은 예측분석은 단순히 누가 성공할지를 맞히는 데서 끝나지 않고, 무엇을 바꾸면 성공 확률을 높일 수 있을지 질문하게 만든다.
실무자가 취업 성과 예측모형을 볼 때는 특히 세 가지를 구분해서 읽어야 한다. 첫째는 배경 변수다. 나이, 장애유형, 학력, 지역, 이전 소득 같은 것들이다. 둘째는 과정 변수다. 상담 횟수, 훈련 참여도, 결석 패턴, 평가 결과 변화, 사업체 접촉 이력, 편의 제공 여부처럼 서비스 과정에서 생기는 정보다. 셋째는 개입 변수다. 지원고용, 직무코칭, 보조기술, 취업알선, 직장적응 지원처럼 기관이 실제로 제공한 도움이다.
좋은 모델은 이 셋을 구분해 보여준다. 나쁜 모델은 이 셋을 뒤섞어서 마치 개인의 능력만이 결과를 결정한 것처럼 보이게 만든다. 그러면 시스템의 책임이 개인의 문제로 변해 버린다.
훈련 성과 분석은 취업률보다 더 섬세해야 한다
직업재활의 목표는 단순히 취업 한 번으로 끝나지 않는다. 어떤 사람에게는 훈련 수료가 중요한 중간 성과일 수 있고, 어떤 사람에게는 작업속도의 안정화가 더 중요할 수 있으며, 또 어떤 사람에게는 통근 독립성이 핵심 성과일 수 있다. 그래서 훈련 성과 분석은 단순한 합격과 불합격 모델보다 더 섬세해야 한다.
실제로 훈련 성과를 예측하거나 분석할 때 유용한 신호는 매우 다양하다. 초기 평가 대비 수행 변화, 출결의 안정성, 과제 완수 시간, 반복 오류의 유형, 피로 누적 시점, 보조공학 사용 적응도, 작업지시 이해도, 대인 상호작용 변화, 보호자 지원의 지속성, 이동 부담 같은 요소들이 함께 작동한다. 이 가운데 일부는 숫자로 잘 기록되지만, 일부는 기록되지 않거나 기록되어도 매우 거칠게 남는다. 여기서 첫 번째 함정이 생긴다. 데이터베이스에 들어 있는 것만 중요하다고 착각하기 쉽다는 점이다.
현장의 실제 감각은 종종 데이터보다 먼저 변화를 알아차린다. 실무자는 표정, 머뭇거림, 피로의 미세한 변화, 직무 전환 때의 불안, 특정 환경에서만 나타나는 강점을 본다. 그런데 이런 것은 전산 시스템에 쉽게 남지 않는다. 그래서 훈련 성과 예측은 늘 불완전하다. 점수가 높다고 반드시 잘 적응하는 것도 아니고, 점수가 낮다고 반드시 실패하는 것도 아니다.
오히려 훈련 성과 분석에서 AI가 잘할 수 있는 일은 한 사람을 단정하는 일이 아니라, 변화의 궤적을 읽는 일이다. 예를 들면 첫 2주보다 4주차에 오류가 줄어드는지, 오전과 오후의 수행 격차가 커지는지, 특정 작업지시 형식에서 이해도가 높아지는지, 결석 직전 어떤 패턴이 반복되는지를 파악하는 것이다. 이런 분석은 실무자의 감각을 대체하기보다 더 선명하게 만든다.
중도탈락 위험 탐지는 조기 배제가 아니라 조기 지원이어야 한다
예측분석이 가장 매력적으로 보이는 지점은 중도탈락 위험 탐지다. 누가 훈련을 그만둘 가능성이 높은지, 누가 연락이 끊길 가능성이 높은지, 누가 취업 후 초기 이탈 위험이 큰지를 미리 알 수 있다면 개입 타이밍을 앞당길 수 있기 때문이다.
다른 영역의 연구는 여기서 꽤 유용한 교훈을 준다. 교육 분야의 탈락 예측 연구에서는 출석, 과제 수행, 행동 데이터, 사회경제적 요인 등을 결합해 위험군을 조기에 탐지하고, SHAP이나 LIME 같은 설명가능성 도구로 왜 그런 예측이 나왔는지 보여주려 했다.7 또 다른 연구는 특정 주차의 로그 데이터에 맞춘 모델이 새로운 강좌나 보지 못한 데이터에 일반화되는지, 그리고 클래스 불균형과 데이터 규모 문제를 어떻게 다뤄야 하는지까지 따로 점검했다.8
이 교훈은 직업재활에도 거의 그대로 들어맞는다. 어떤 기관에서 잘 맞는 중도탈락 예측모형이 다른 기관에서는 잘 맞지 않을 수 있다. 도시형 기관의 패턴이 농촌형 기관에 그대로 통하지 않을 수 있다. 발달장애 중심 기관에서 만든 모델이 정신장애인 비중이 높은 기관에선 엉뚱한 경고를 낼 수 있다. 작년엔 잘 맞던 모델이 올해는 틀릴 수도 있다. 왜냐하면 프로그램 구조도 바뀌고, 지역 노동시장도 바뀌고, 지원 방식도 바뀌기 때문이다.
그래서 중도탈락 위험 점수는 이렇게 읽어야 한다. 이 사람은 포기할 사람이다가 아니라, 이 사람은 지금 더 빨리 확인이 필요한 사람이다. 문장 하나 차이 같지만, 서비스 철학 전체를 바꾸는 차이다.
서비스 우선순위 설정에서 데이터는 칼이 될 수도 있고 지팡이가 될 수도 있다
기관 운영에서 가장 어려운 문제 중 하나는 우선순위다. 상담 대기가 길고, 직무코칭 인력이 부족하고, 사업체 개발 담당자가 한정되어 있을 때 누구에게 먼저 자원을 투입할 것인가. 여기서 데이터 기반 의사결정은 매우 매력적이다. 취업 가능성이 높은 사람에게 먼저 집중하면 성과가 빨리 나올 수 있고, 위험도가 높은 사람에게 먼저 지원하면 중도탈락을 줄일 수도 있다.
문제는 어떤 우선순위가 옳은가가 늘 하나로 정해지지 않는다는 점이다. 가장 쉬운 성과를 낼 사람에게 먼저 자원을 몰아주는 방식은 기관 실적을 올릴 수 있다. 하지만 가장 많은 지원이 필요한 사람을 뒤로 미룰 위험이 크다. 반대로 가장 위험한 사람에게만 자원을 집중하면 다른 이용자의 기회를 좁힐 수도 있다. 그래서 우선순위 모델은 단순한 효율 계산이 아니라 가치판단을 포함한다.
직업재활에서 바람직한 서비스 우선순위 모델은 보통 세 질문을 함께 가져야 한다. 이 사람의 현재 필요 수준은 어떤가. 추가 지원이 실제로 효과를 낼 가능성은 어떤가. 그리고 이 결정이 형평성을 해치지 않는가. 이 세 질문 중 하나만 빠져도 데이터는 쉽게 차별의 도구가 된다.
예를 들어 과거 데이터만 보면 취업이 쉬운 집단은 늘 비슷하게 보일 수 있다. 그러면 모델은 그 집단을 더 많이 추천할 것이다. 반대로 지원이 많이 필요했던 집단은 과거 성과가 낮았다는 이유로 덜 추천될 수 있다. 이렇게 되면 예측모형은 현실을 설명하는 데서 멈추지 않고, 기존 불평등을 반복 생산하는 기계가 된다.
가장 중요한 경고: 예측은 인과가 아니다
예측분석의 가장 큰 함정은 이것이다. 잘 맞히는 모델이 꼭 잘 이해하는 모델은 아니라는 점이다. 어떤 변수가 취업과 강하게 연관되어 있다고 해서, 그 변수를 바꾸면 자동으로 취업이 늘어난다고 말할 수는 없다.
이 점을 보여주는 좋은 예가 인과추론 연구다. 핀란드의 한 연구는 직업재활 배정이 실제로 고용 결과에 어떤 영향을 주는지 회귀불연속 설계를 통해 살펴보았는데, 고용 가능성이 높아지는 방향의 신호는 있었지만 통계적으로 일관된 근거는 분명하지 않았다.6 이 연구가 말해 주는 것은 단순하다. 서비스 배정과 결과 사이에 연관이 보인다고 해서, 그것이 곧바로 강한 인과효과를 뜻하는 것은 아니라는 점이다.
실무적으로 바꾸어 말하면 이렇다. 지원고용이 좋은 예측변수로 보인다고 해서, 모든 사람에게 같은 방식의 지원고용을 넣으면 똑같이 성공한다는 뜻은 아니다. 상담 횟수가 많을수록 결과가 좋다고 해서, 상담 횟수만 늘리면 해결된다는 뜻도 아니다. 종종 더 어려운 사례일수록 상담이 많기 때문에, 숫자만 보면 오히려 관계가 뒤집혀 보일 수도 있다. 이것을 혼동하면 기관은 데이터를 보고도 잘못 배울 수 있다.
예측모형은 누가 주의가 필요한지 알려줄 수 있다. 하지만 무엇이 원인인지, 어떤 개입이 실제로 효과적인지는 별도의 평가설계와 현장 검증이 필요하다.
과적합: 시험문제만 외운 모범생의 함정
머신러닝에서 자주 나오는 말 중 하나가 과적합이다. 아주 쉬운 비유로 말하면, 과적합은 공부를 잘한 것이 아니라 기출문제 답만 외운 상태에 가깝다. 훈련 데이터에서는 성적이 아주 좋은데, 새로운 사례를 만나면 갑자기 실력이 떨어진다.
직업재활에서는 과적합이 특히 쉽게 생긴다. 이유는 데이터가 생각보다 복잡하고, 기관별 특수성이 강하기 때문이다. 어떤 기관은 사업체 실습 기회가 많고, 어떤 기관은 훈련 중심이며, 어떤 기관은 농촌 이동지원이 핵심이고, 어떤 기관은 정신건강 연계가 중요하다. 그런데 한 기관의 데이터로 만든 모델을 마치 보편적 진리처럼 쓰면 문제가 생긴다.
과적합은 보통 다음과 같은 모습으로 나타난다.
특정 기관이나 특정 연도 데이터에서는 정확도가 높게 나온다
그러나 다른 지역, 다른 집단, 다른 시기 데이터에선 성능이 급격히 떨어진다
중요한 것처럼 보였던 변수가 사실은 우연한 지역 규칙이나 행정 습관을 반영하고 있다
모델은 복잡해졌는데 정작 실무자는 왜 그런 예측이 나왔는지 이해하지 못한다
이런 문제를 줄이려면 반드시 외부 검증이 필요하다. 같은 기관의 과거 데이터만 나눠서 검증하는 데서 끝나면 안 된다. 가능하면 다른 시기, 다른 팀, 다른 지역, 다른 장애집단으로도 점검해야 한다. 또한 정확도 하나만 보지 말고, 실제 현장에서 계속 비슷하게 작동하는지도 확인해야 한다.
데이터 왜곡은 모델 안이 아니라 데이터가 만들어지는 순간부터 시작된다
많은 사람이 편향을 모델의 문제라고 생각한다. 하지만 실제로는 데이터가 수집되는 순간부터 왜곡이 시작된다. 누가 기록을 자세히 남기고 누가 대충 남기는지, 어떤 기관은 결석 사유를 세밀하게 적고 어떤 기관은 단순 결석으로 처리하는지, 어떤 장애유형은 평가도구가 촘촘하고 어떤 장애유형은 애초에 맞는 도구가 부족한지에 따라 데이터의 모양이 달라진다.
여기에는 몇 가지 대표적인 왜곡이 있다.
첫째, 선택 편향이다. 서비스에 접근한 사람의 데이터만 남아 있으면, 애초에 문턱을 넘지 못한 사람은 분석에서 사라진다. 그러면 모델은 기관 안으로 들어온 사람들에 대해서만 학습하고, 가장 소외된 사람을 보지 못한다.
둘째, 측정 편향이다. 어떤 집단의 어려움은 수치로 잘 포착되고, 어떤 집단의 어려움은 거의 기록되지 않는다. 예를 들어 발화로 표현되는 어려움은 메모에 남기 쉽지만, 감각 과부하나 미세한 피로 누적은 종종 빠진다.
셋째, 라벨 편향이다. 무엇을 성공으로 정의했는지가 결과를 바꾼다. 취업 여부만 성공으로 보면 단기 취업 후 빠른 이탈은 놓치게 된다. 반대로 90일 유지율만 보면 천천히 준비해 안정적으로 취업하는 경로는 과소평가될 수 있다.
넷째, 대리변수의 문제다. 모델은 직접 차별 변수를 빼더라도 우편번호, 학교 유형, 수급 상태, 경력 공백 길이 같은 변수를 통해 비슷한 효과를 우회적으로 학습할 수 있다. 겉으로는 중립적이지만 실제로는 특정 집단에 불리하게 작동하는 이유가 여기에 있다.
이 때문에 좋은 예측분석은 모델을 돌리기 전에 먼저 묻는다. 우리가 지금 보고 있는 데이터는 누구를 잘 보여 주고, 누구를 거의 보지 못하는가.
오판의 비용은 정확도 표 안에 다 들어 있지 않다
실무자는 흔히 모델 정확도가 몇 퍼센트인지 듣고 안심하거나 실망한다. 하지만 현장에서는 정확도보다 더 중요한 질문이 있다. 모델이 누구를 틀리게 보느냐는 것이다.
예를 들어 중도탈락 위험모형이 어떤 사람을 고위험으로 잘못 분류했다고 해 보자. 이 오판이 추가 상담 한 번 더 배정하는 수준이라면 피해가 작을 수 있다. 하지만 그 점수가 지원 대상 제외나 훈련 기회 축소로 이어진다면 피해는 매우 커진다. 반대로 실제로는 위험이 큰 사람을 저위험으로 놓치면 필요한 개입 시점을 잃을 수 있다.
그래서 직업재활 현장에서 예측모형을 볼 때는 적어도 다음 지표를 함께 봐야 한다.
정밀도: 고위험이라고 분류한 사람 가운데 실제로 위험했던 사람의 비율
재현율: 실제 위험한 사람들 가운데 모델이 놓치지 않고 잡아낸 비율
보정도: 70퍼센트 위험이라고 말한 집단이 실제로도 비슷한 수준의 위험을 보이는지의 정도
집단별 오류율: 장애유형, 성별, 연령, 지역 등에 따라 오분류가 치우치지 않는지의 정도
이 네 가지를 같이 보지 않으면, 모델은 겉으로 좋아 보여도 실제로는 특정 집단에게만 유난히 자주 틀리는 도구가 될 수 있다.
설명가능성은 친절함이 아니라 안전장치다
직업재활에서 블랙박스 모델은 늘 유혹적이다. 성능이 조금 더 높다고 하면 복잡한 모델을 쓰고 싶어진다. 그러나 현장에서는 왜 그런 예측이 나왔는지 설명할 수 있어야 한다. 이유는 단순하다. 설명이 안 되면 수정도 어렵고, 이의 제기도 어렵고, 책임도 흐려지기 때문이다.
설명가능성은 실무자에게 두 가지 도움을 준다. 하나는 개별 사례 수준에서 어떤 요인이 위험 점수에 가장 크게 영향을 미쳤는지 보여 주는 것이다. 다른 하나는 전체 집단 수준에서 모델이 어떤 패턴에 과도하게 의존하고 있는지 점검하게 해 주는 것이다.7
물론 설명가능성 도구가 곧 진실을 보장하는 것은 아니다. 설명도 하나의 해석이다. 그래도 해석 가능한 모델과 설명 도구가 있는 시스템은, 아무 설명 없이 점수만 내놓는 시스템보다 훨씬 안전하다. 적어도 실무자가 점수를 그대로 믿지 않고 반문할 수 있기 때문이다.
좋은 현장은 이렇게 묻는다. 왜 이 사람에게 이런 점수가 나왔는가. 그 요인은 실제로 개입 가능한 것인가. 혹시 이 점수가 기록 습관이나 행정 누락을 반영한 것은 아닌가. 최근 환경 변화가 반영되지 않은 것은 아닌가.
현장 데이터가 좋아지지 않으면 모델도 좋아지지 않는다
예측분석을 잘하고 싶다면 사실 가장 먼저 해야 할 일은 고급 알고리즘 도입이 아니다. 기록 체계를 바로잡는 일이다. 같은 항목을 다른 뜻으로 입력하고, 누락값이 지나치게 많고, 성공과 중단의 정의가 팀마다 다르고, 서비스 종료 이유가 뒤섞여 있으면 아무리 좋은 모델을 써도 답이 흐려진다.
이 점에서 현장의 구조화된 기록은 매우 중요하다. TILNOTE에 공개된 직업재활 실무용 GPT 활용 사례를 보면, 직무분석 문서를 단순 서술이 아니라 빈도, 강도, 세부과제, 필요한 지식과 기능, 제공 가능한 지원 수준처럼 구조화된 항목으로 정리하려는 시도가 나온다.9 이런 구조화는 문서 작성 효율만 높이는 것이 아니다. 나중에 데이터를 비교하고 학습하는 기반도 만든다.
또 다른 TILNOTE의 재활 목표 관리 앱 경험담은 비슷한 조건의 사례를 바탕으로 추천 계획을 제시하고, 주간 목표 달성 여부를 추적해 월간·장기 목표의 달성률을 보려 했다. 흥미로운 점은 아이디어 자체보다, 현장 정착의 어려움이 함께 드러난다는 것이다.10 데이터 기반 의사결정은 모델을 만드는 순간 끝나는 일이 아니라, 누가 입력하고, 누가 검토하고, 누가 실제 워크플로우 속에서 쓰는지까지 설계되어야 비로소 작동한다.
즉 예측분석의 출발점은 거대한 AI가 아니라, 잘 설계된 기록 양식과 꾸준한 입력 습관일 때가 많다.
안전하게 쓰려면 예측점수가 아니라 운영원칙을 먼저 세워야 한다
직업재활 현장에서 예측분석을 도입할 때 가장 위험한 방식은 조용히 점수를 만들고, 조용히 의사결정에 반영하는 것이다. 현장에서는 오히려 원칙이 먼저 보여야 한다.
첫째, 예측모형의 목적을 제한해야 한다. 취업 배제나 서비스 축소의 근거가 아니라, 조기 지원과 추가 점검의 신호로 쓰겠다는 원칙이 필요하다.
둘째, 사람 검토 단계를 빼면 안 된다. 점수가 높게 나왔더라도 실무자는 최근 가족상황, 건강변화, 사업체 환경변화, 당사자의 선택 같은 맥락을 다시 확인해야 한다.
셋째, 집단별 성능을 정기적으로 점검해야 한다. 전체 정확도가 좋아 보여도 특정 장애집단에서만 오차가 크면 그 모델은 안전하지 않다.
넷째, 결과 정의를 넓게 가져가야 한다. 단기 취업률만 보지 말고 유지율, 근로만족, 적합도, 편의 제공 여부, 자율성 증가 같은 지표도 함께 봐야 한다.
다섯째, 데이터 흐름을 관리해야 한다. 민감정보를 최소화하고, 비식별화와 접근권한을 분명히 하고, 누가 어떤 예측결과를 볼 수 있는지 통제해야 한다.
이 원칙이 없는 예측분석은 결국 사람을 돕는 도구가 아니라, 사람을 더 빨리 분류하는 도구가 되기 쉽다.
실무 장면으로 다시 보는 예측분석의 올바른 자리
어떤 직업재활기관이 있다고 해 보자. 이 기관은 최근 훈련 중도탈락이 늘어 고민이다. 기관은 지난 3년의 데이터를 모아 결석 증가, 상담 공백, 통근 문제, 보호자 피로, 직무 불일치, 초기 적응지연 같은 신호를 바탕으로 위험 예측모형을 만들었다.
나쁜 사용법은 이렇다. 점수가 높은 사람을 어려운 사례로 낙인찍고, 애초에 훈련 선발에서 뒤로 미루는 것이다.
좋은 사용법은 다르다. 점수가 높게 나온 사람에게 첫 달 안에 추가 상담을 한 번 더 배정하고, 통근경로를 재점검하고, 사업체 실습 전 직무 미리보기 시간을 늘리고, 보호자와의 협력 계획을 조금 더 촘촘히 잡는 것이다. 그리고 실제로 이런 조기 개입이 탈락 감소로 이어졌는지 다시 확인한다.
여기서 핵심은 예측이 결정이 아니라 개입의 출발점이라는 점이다. 데이터는 사람을 줄 세우는 표가 아니라, 어디에 먼저 손을 내밀지 알려 주는 지도여야 한다.
이 장의 핵심 정리
예측분석과 데이터 기반 의사결정은 직업재활을 더 정밀하게 만들 수 있다. 취업 성과 예측, 훈련 성과 분석, 중도탈락 위험 탐지, 서비스 우선순위 설정은 모두 실제 현장에서 큰 힘을 발휘할 수 있다.12345
하지만 예측은 어디까지나 가능성의 계산이지 사람의 미래 판정이 아니다. 상관관계를 인과로 오해하면 잘못된 개입으로 이어지고, 과적합을 놓치면 다른 현장에서 성능이 무너진다. 데이터 수집 단계의 왜곡을 무시하면 모델은 기존 불평등을 되풀이한다. 정확도만 보고 안심하면 오판의 비용을 놓치게 된다.678
결국 데이터가 강력할수록 더 조심해야 한다. 좋은 예측모형은 사람을 대신 결정하지 않는다. 오히려 사람이 더 일찍 보고, 더 잘 묻고, 더 정확하게 지원하도록 돕는다. 직업재활에서 가장 좋은 데이터 기반 의사결정은 차가운 자동판정이 아니라, 더 따뜻하고 더 정교한 조기지원으로 이어지는 결정이다.
참고
1Predicting program outcomes for vocational rehabilitation customers: A machine learning approach
6The impact of vocational rehabilitation on employment outcomes: A regression discontinuity approach
7A novel AI-driven model for student dropout risk analysis with explainable AI insights
8Student dropout prediction through machine learning optimization: insights from moodle log data
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.