딥러닝 단어 예측을 사용한 링 기반 공중 제스처 타이핑 시스템

제목: Deep Learning 기반 단어 예측을 사용하는 반지 기반 공중 제스처 타이핑 시스템

경량 AR 글래스에서는 카메라 수 제한으로 손 추적이 어렵다.

이를 해결하기 위해 전극과 IMU 센서를 사용한 반지 기반 공중 제스처 타이핑 시스템, RingGesture를 제안한다.

RingGesture는 VR 헤드셋의 공중 제스처 타이핑과 비슷하게 직관적인 경험을 제공하며, 손 움직임을 커서 내비게이션으로 변환한다.

정확도와 입력 속도를 높이기 위해 Score Fusion이라는 딥러닝 단어 예측 프레임워크를 사용한다. 이 프레임워크는 세 가지 구성 요소로 되어있다:

1. 단어-제스처 디코딩 모델
2. 공간 철자 교정 모델
3. 경량 컨텍스트 언어 모델

Score Fusion 프레임워크는 세 모델의 점수를 융합하여 가장 가능성 높은 단어를 예측한다.

비교 연구 및 장기적인 연구를 통해 다음 두 가지 주요 발견을 제시했다:

1. RingGesture의 전반적인 효과성: 평균 텍스트 입력 속도는 27.3 WPM이며, 최대 47.9 WPM를 달성했다.
2. Score Fusion 프레임워크의 우수한 성능: 기존의 단어 예측 프레임워크인 Naive Correction보다 28.2% 향상된 정확도를 보여주며, RingGesture의 텍스트 입력 속도를 55.2% 향상시켰다.

RingGesture는 시스템 사용성 점수 83을 받아 우수한 사용성을 인정받았다.