웹캠으로 손 움직임을 읽는 장애인 직업평가 도구, AR JobLens 사용법

장애인의 직업평가는 단순히 “잘했다/못했다”를 나누는 과정이 아닙니다. 실제 작업 상황에서 어떤 안내가 도움이 되는지, 어떤 동작은 안정적인지, 어떤 환경에서는 지원이 필요한지를 함께 살펴보는 과정입니다.

AR JobLens는 노트북 웹캠을 이용해 손 움직임을 인식하고, 브라우저 화면 위에 3D 작업 오브젝트를 겹쳐 보여주는 웹 기반 직업능력 평가 보조도구입니다. 별도 AR 글래스나 외부 센서 없이, 카메라와 브라우저만으로 직무기초 과업을 수행하고 결과를 정리할 수 있도록 설계되었습니다.

AR JobLens는 어떤 앱인가요?

AR JobLens는 성인 장애인 직업평가와 직무훈련 상황을 고려해 만든 웹캠 기반 AR 직업평가 앱입니다.

사용자는 화면에 보이는 컵, 문서, 부품, 도구, 카트, 쓰레기통 같은 3D 오브젝트를 손으로 집고 옮기며 과업을 수행합니다. 앱은 손 위치, 집기 동작, 수행 시간, 오류, 재시도, 양손 인식 여부 등을 기록하고, 결과 화면과 전문가 보고서로 정리합니다.

중요한 점은 이 앱이 사람을 “판정”하기 위한 도구가 아니라는 것입니다. 결과는 직무 수행 특성을 이해하기 위한 참고자료입니다. 실제 직무 배치나 지원계획 수립에는 면담, 관찰, 직무분석, 현장평가가 함께 필요합니다.

주요 특징

1. 노트북 웹캠 기반 손 인식

AR JobLens는 웹캠으로 손을 인식합니다. 화면에는 손 스켈레톤이 표시되며, 손가락과 손바닥 위치를 기준으로 물체를 잡거나 놓는 동작을 수행합니다.

손이 두 개 보이면 양손 스켈레톤도 표시됩니다. 다만 모든 과업이 완전한 양손 물리 조작을 요구하는 것은 아니며, 보조 손은 협응 참고 지표로 기록됩니다.

2. 3D 오버레이 기반 평가 화면

실제 카메라 화면 위에 3D 오브젝트가 올라갑니다.

예를 들어 바리스타 과업에서는 컵, 주문표, 음료 제조 도구가 보이고, 사무보조 과업에서는 우편물, 복사기, 문서 정리함이 보입니다. 환경미화 과업에서는 빗자루, 쓰레받기, 걸레, 쓰레기통이 나타납니다.

일부 과업은 안정성을 위해 2D fallback 화면도 함께 유지됩니다.

3. 직무영역별 실제 과업 구성

현재 앱은 다음 직무영역을 포함합니다.

바리스타

• 커피 추출

• 음료 제조

• 설거지 및 정리

사무보조

• 우편물 분류

• 문서 복사 및 정리

• 데스크 정리

제조업 1 - 조립·포장

• 부품 조립

• 검사 및 QA

• 도구 사용

제조업 2 - 검사·품질관리

• 박스 포장

• 컨베이어 운반

• 무거운 물건 운반

환경미화

• 바닥 청소

• 책상 닦기

• 쓰레기 처리

전체 직무기초 평가

• 손가락 두드리기

• 당겨서 맞추기

• 막대 밀기

• 너트와 볼트 조이기

• 막대에 구슬 꿰기

사용 전 준비

평가를 시작하기 전에 아래 환경을 준비하는 것이 좋습니다.

1. 노트북 또는 데스크톱 웹캠을 켭니다.

2. 브라우저에서 카메라 권한을 허용합니다.

3. 손 전체가 화면 안에 들어오도록 앉습니다.

4. 조명을 밝게 합니다.

5. 손과 배경이 잘 구분되도록 배경을 단순하게 합니다.

6. 글자가 잘 보이는지 확인합니다.

7. 처음 사용하는 경우에는 메인 평가 전에 연습하기를 먼저 진행합니다.

손이 화면에서 자주 사라지면 앱이 작은 안내 토스트를 보여줍니다. 하지만 과업 안내문은 계속 유지되도록 설계되어 있어, 사용자는 해야 할 일을 잃지 않고 이어갈 수 있습니다.

실제 사용 방법

1단계. 앱 시작

앱을 열면 카메라 권한을 요청합니다. 권한을 허용하면 손 인식 준비 화면이 나타납니다.

손을 화면 안에 천천히 보여 주세요. 손이 인식되면 '모든 설정 완료' 버튼이 활성화 됩니다.

2단계. 직무영역 선택

사용자는 평가할 직무영역을 선택합니다.

예를 들어 카페 관련 직무를 보고 싶다면 바리스타, 문서 정리나 복사 업무를 보고 싶다면 사무보조, 청소 업무를 보고 싶다면 환경미화를 선택합니다.

전체적인 손기능과 직업기초 능력을 보고 싶다면 전체 직무기초 평가를 선택할 수 있습니다.

3단계. 연습하기 또는 메인 평가 선택

직무영역을 선택한 뒤에는 두 가지 흐름을 선택할 수 있습니다.

연습하기

• 손 인식과 물체 집기 조작을 먼저 익히는 단계입니다.

• 안내가 더 친절하고 부담이 적습니다.

• 실제 평가 전 사용자가 화면과 조작 방식에 익숙해질 수 있습니다.

메인 평가

• 선택한 직무영역의 과업을 순서대로 수행합니다.

• 수행 결과가 기록됩니다.

• 결과 화면과 전문가 보고서에 반영됩니다.

4단계. 과업 설명 읽기

각 과업 시작 전에는 설명 화면이 나옵니다.

설명 화면에는 보통 다음 내용이 포함됩니다.

• 무엇을 하는 과업인지

• 왜 하는 과업인지

• 어떻게 수행하는지

• 무엇을 기록하는지

• 주의할 점

사용자는 이 안내를 읽고 과업 시작 버튼을 누릅니다. 글자가 잘 보이지 않거나 이해가 어려우면 평가자에게 다시 설명을 요청할 수 있습니다.

5단계. 손으로 물체 조작하기

대부분의 과업은 다음 규칙으로 작동합니다.

대기

손이 물체 가까이 가면 물체가 살짝 강조됩니다. 이때는 아직 움직이지 않습니다.

집기

손가락을 모아 집기 동작을 하면 물체를 잡습니다.

이동

잡은 물체는 손을 따라 움직입니다.

놓기

집기 동작을 풀면 물체를 놓습니다. 목표 위치에 잘 놓으면 완료 처리되고, 맞지 않으면 다시 시도할 수 있습니다.

이 구조는 실수로 손이 가까이 지나가기만 해도 물체가 움직이는 문제를 줄이기 위한 방식입니다.

직무별 사용 예시

바리스타

바리스타 영역은 카페 작업 흐름을 모사합니다.

커피 추출에서는 주문표를 보고 컵과 추출 준비 위치를 확인합니다.

음료 제조에서는 우유와 커피 비율을 맞추며, 현재 퍼센트와 허용 범위를 확인합니다. 비율이 맞지 않아도 바로 실패로 끝나지 않고 다시 조절할 수 있습니다.

설거지 및 정리에서는 사용한 컵을 정리하고, 걸레로 얼룩을 닦고, 위생 체크리스트를 확인합니다.

이 과업은 주문 확인, 순서 이해, 손 조작, 시각 정보 확인, 작업 마무리 과정을 함께 봅니다.

사무보조

사무보조 영역은 문서와 사무 절차를 중심으로 구성되어 있습니다.

우편물 분류에서는 일반 우편, 등기, 긴급, 해외, 내부문서 같은 라벨을 읽고 알맞은 위치에 분류합니다. 색만 보고 맞추는 것이 아니라 한글 라벨을 읽고 판단하도록 구성되어 있습니다.

문서 복사 및 정리에서는 실제 복사기 절차처럼 진행됩니다.

1. 원본문서 확인

2. 복사 매수 설정

3. 복사 시작

4. 출력물 확인

5. 폴더 정리

사용자는 + / - 버튼으로 복사 매수를 조정하고, 목표 매수에 맞춘 뒤 복사 시작을 누릅니다.

데스크 정리에서는 체크리스트 항목을 확인하며 사무용품이나 문서 정리 절차를 수행합니다.

제조업 1

제조업 1 영역은 조립, 검사, 공구 사용을 봅니다.

부품 조립에서는 파란색 공 모양 부품처럼 기준에 맞는 부품을 확인하고 조립 위치에 놓습니다.

검사 및 QA에서는 여러 제품 중 기준에 맞는 제품을 찾거나, 결함이 있는 제품을 구분합니다.

도구 사용에서는 너트와 볼트 조이기처럼 손목 회전, 위치 맞추기, 지속 조작을 봅니다.

제조업 2

제조업 2 영역은 포장과 운반 중심입니다.

박스 포장에서는 주문 수량에 맞게 컵과 접시를 상자에 담고, 수량이 맞으면 테이프 디스펜서를 집어 상자를 봉인합니다. 초과 수납이 되었을 때는 봉인 전까지 다시 꺼내 수량을 조정할 수 있습니다.

컨베이어 운반에서는 제품 상태나 이동 기준을 확인하며 알맞은 구역으로 처리합니다.

무거운 물건 운반에서는 양손으로 카트 손잡이를 잡고 균형을 유지하며 도착 위치까지 이동합니다. 카트가 기울면 경고가 표시되며, 양손 높이를 맞추는 협응이 중요합니다.

환경미화

환경미화 영역은 청소와 분리수거 과업을 포함합니다.

바닥 청소에서는 주손으로 빗자루를, 보조손으로 쓰레받기를 잡고 먼지를 모읍니다. 보조손이 잠깐 흔들려도 바로 끊기지 않도록 안정화가 적용되어 있습니다.

책상 닦기에서는 걸레를 집어 얼룩 위를 천천히 닦습니다. 닦은 범위와 진행률이 기록됩니다.

쓰레기 처리에서는 일반쓰레기, 비닐, 종이, 병/캔 수거함에 쓰레기를 분류합니다. 예를 들어 과자봉지는 비닐, 캔은 병/캔으로 분류합니다.

결과 화면에서는 무엇을 볼 수 있나요?

과업이 끝나면 결과 화면에서 수행 결과를 확인합니다.

주요 항목은 다음과 같습니다.

• 수행 시간

• 완료율

• 정확도

• 오류 횟수

• 재시도 횟수

• 손 인식 끊김 횟수

• 양손 인식 여부

• 양손 인식 시간

• 참고 점수

• 강점

• 필요한 지원

• 자기점검 내용

• 평가자 관찰 메모

결과는 “합격/불합격”이 아니라, 수행 과정에서 어떤 경향이 있었는지 확인하기 위한 참고자료입니다.

예를 들어 “반복 수행 중 위치 맞추기가 안정되는 경향을 보였습니다”, “시각적 표시를 더 크게 제공하면 도움이 될 수 있습니다”처럼 지원 방향을 함께 볼 수 있습니다.

내부 채점 알고리즘은 어떻게 작동하나요?

AR JobLens는 단순히 한 가지 점수만 계산하지 않습니다. 과업별로 다양한 지표를 기록하고, 그중 계산 가능한 값을 바탕으로 참고 점수를 만듭니다.

1. 기록되는 기본 지표

대표적으로 다음과 같은 값이 기록됩니다.

• durationMs: 수행 시간

• completionRate: 완료율

• correctCount: 맞게 수행한 횟수

• incorrectCount: 잘못 수행한 횟수

• retryCount: 다시 시도한 횟수

• omissionCount: 누락 수

• handLostCount: 손 인식 끊김 횟수

• assistHandDetected: 보조 손 인식 여부

• twoHandDetectedMs: 양손 인식 시간

• finalScore: 참고 점수

과업에 따라 추가 지표도 기록됩니다.

예를 들어 음료 제조에서는 비율 정확도, 박스 포장에서는 수량 정확도, 쓰레기 처리에서는 분류 정확도, 너트와 볼트 조이기에서는 조임 진행률이나 회전 조작 관련 값이 기록될 수 있습니다.

2. 참고 점수 계산 방식

현재 참고 점수는 대략 다음 세 축을 바탕으로 계산됩니다.

정확도 계열: 45%

• 일반 정확도

• 위치 맞추기 정확도

• 분류 정확도

• 순서 정확도

• 주문 확인 정확도

• 컵 선택 정확도

• 조임 진행률 등

완료율 계열: 25%

• 과업을 어느 정도 완료했는지

• 끝까지 수행했는지

오류/재시도 감점 계열: 30%

• 재시도 횟수

• 오류 횟수

• 잘못 선택한 횟수

• 누락 수

오류 감점은 대략 다음 방식으로 반영됩니다.

• 재시도 1회: 감점

• 오류 1회: 감점

• 잘못 선택 1회: 감점

• 누락 1회: 감점

이 값들을 종합해 0~100 범위의 참고 점수를 계산합니다.

다만 이 점수는 직무 적합 여부를 단정하는 값이 아닙니다. 수행 경향을 빠르게 파악하기 위한 보조 지표입니다.

3. 수행 시간은 어떻게 쓰이나요?

수행 시간은 별도 지표로 기록되어 결과 화면과 보고서에 표시됩니다. 시간이 길다고 바로 부정적인 결과로 해석하지 않습니다.

예를 들어 손 기능 제한, 긴장, 처음 접하는 화면, 글자 크기, 조명 상태에 따라 시간이 달라질 수 있습니다. 그래서 시간은 정확도, 오류, 관찰 메모와 함께 봐야 합니다.

4. 양손 지표는 어떻게 해석하나요?

양손이 화면에 함께 보이면 앱은 다음 값을 기록할 수 있습니다.

• 보조 손이 인식되었는지

• 양손이 함께 인식된 시간이 얼마나 되는지

이 지표는 협응을 이해하기 위한 참고자료입니다. 현재 결과 기록은 주 손 움직임을 중심으로 산출되며, 보조 손은 과업별로 보조 정보로 활용됩니다.

전문가 보고서에서는 무엇을 확인할 수 있나요?

ExpertReport에서는 평가 결과를 직업재활 실무자가 참고하기 좋은 형태로 정리합니다.

보고서에는 다음 내용이 포함될 수 있습니다.

• 기본 정보

• 선택 직무영역

• 과업별 수행 결과

• 반복 수행 결과

• 참고 점수

• 수행 시간

• 재시도와 오류

• 손 인식 안정성

• 양손 사용 참고 지표

• 관찰된 강점

• 필요한 지원

• 직무 배치 시 고려사항

• 평가자 관찰 메모

• 자기점검 내용

• JSON 다운로드

보고서 문체는 단정적 판단을 피하고, “참고할 수 있습니다”, “관찰되었습니다”, “추가 확인이 필요합니다”, “지원이 도움이 될 수 있습니다”처럼 신중한 표현을 사용합니다.

평가자 관찰 메모가 중요한 이유

숫자만으로는 사용자의 실제 수행 특성을 충분히 이해하기 어렵습니다.

예를 들어 어떤 사용자는 시간이 오래 걸리지만 안내를 이해하고 끝까지 수행할 수 있습니다. 또 어떤 사용자는 손 조작은 빠르지만 순서 안내를 반복해서 확인해야 할 수 있습니다.

그래서 AR JobLens는 평가자 관찰 메모를 함께 기록할 수 있도록 구성되어 있습니다.

관찰 항목 예시는 다음과 같습니다.

• 지시 이해

• 주의집중 유지

• 오류 후 수정 시도

• 도움 요청 여부

• 피로 또는 불안 반응

• 작업 지속성

• 기타 관찰 메모

• 필요한 환경 조정

이 메모는 결과 해석의 핵심 자료가 됩니다.

AR 기반 직업평가 앱으로 어떤 도움이 될까요?

1. 실제 직무와 비슷한 과업을 안전하게 경험할 수 있습니다

실제 카페, 사무실, 제조 현장, 청소 현장에 바로 들어가지 않아도 비슷한 과업을 화면에서 먼저 경험할 수 있습니다.

이를 통해 사용자는 평가 환경에 익숙해지고, 평가자는 어떤 지원이 필요한지 미리 관찰할 수 있습니다.

2. 손기능과 지시 이해를 함께 볼 수 있습니다

단순한 손 움직임만 보는 것이 아니라, 주문표 확인, 라벨 읽기, 순서 따르기, 수량 맞추기, 분류하기 같은 인지적 요소도 함께 봅니다.

즉, “손을 잘 움직이는가”뿐 아니라 “작업 지시를 이해하고 순서대로 수행하는가”를 함께 확인할 수 있습니다.

3. 반복 평가와 평균 기록이 가능합니다

과업을 반복 수행하면 1회차와 2회차의 변화를 볼 수 있습니다.

예를 들어 첫 번째 시도에서는 위치 맞추기가 어려웠지만, 두 번째 시도에서 안정되는 경향이 보일 수 있습니다. 이런 변화는 실제 직무훈련 가능성을 살펴보는 데 도움이 됩니다.

4. 지원 방향을 구체화할 수 있습니다

결과는 단순 점수가 아니라 지원 방향과 연결됩니다.

예를 들어 다음과 같은 판단을 돕습니다.

• 글자 크기를 키우면 도움이 되는가

• 단계별 시범이 필요한가

• 작업 속도를 늦추면 정확도가 올라가는가

• 양손 협응이 필요한 과업에서 보조 도구가 필요한가

• 반복 설명 후 수행이 안정되는가

• 실제 현장에서는 어떤 환경 조정이 필요한가

5. 보고서와 JSON 데이터로 기록을 남길 수 있습니다

평가 결과는 화면에서 확인할 수 있고, 전문가 보고서로 정리할 수 있습니다. JSON 다운로드 기능을 통해 기록을 보관하거나 추후 비교에도 활용할 수 있습니다.

사용할 때 주의할 점

AR JobLens는 평가를 돕는 도구이지, 진단 도구나 배치 판정 도구가 아닙니다.

다음 사항을 함께 고려해야 합니다.

• 조명과 카메라 위치에 따라 손 인식이 달라질 수 있습니다.

• 손이 가려지면 인식이 끊길 수 있습니다.

• 긴장이나 피로로 수행 속도가 느려질 수 있습니다.

• 글자 크기, 배경, 화면 거리도 결과에 영향을 줄 수 있습니다.

• 실제 직무 배치 전에는 반드시 현장평가와 상담이 필요합니다.

마무리

AR JobLens는 노트북 웹캠과 브라우저만으로 직무기초 수행평가를 진행할 수 있도록 만든 도구입니다. 손 스켈레톤, 양손 인식, 3D 오버레이, 과업별 기록, 결과보고서까지 연결해 실제 평가 운영에 가까운 흐름을 제공합니다.

이 앱의 목표는 사람을 빠르게 분류하는 것이 아닙니다. 사용자가 어떤 방식으로 안내를 이해하고, 어떤 동작을 안정적으로 수행하며, 어떤 지원이 있으면 더 잘할 수 있는지를 구체적으로 살펴보는 것입니다.

직업평가가 더 안전하고, 더 이해하기 쉽고, 더 기록 가능한 과정이 되도록 돕는 것. 그것이 AR JobLens의 가장 큰 역할입니다.