AgentHands가 XR의 말과 공간을 연결하는 방법
XR 에이전트가 “저쪽 패널을 보세요”라고 말해도 사용자는 정확한 위치를 직접 찾아야 한다. 음성은 내용을 전달하는 데 효과적이지만, ‘저것’이나 ‘저쪽’을 3D 공간의 특정 대상·위치와 연결하기에는 한계가 있기 때문이다.
CHI 2026에 발표된 AgentHands는 이러한 간극을 손짓으로 보완하는 대화형 제스처 연구 프로토타입이다. 핵심은 아바타를 더 사람처럼 보이게 만드는 것이 아니라, 공간 정보를 더 명확하게 전달하는 데 있다.
자연스러움보다 대상과 타이밍의 일치
말의 리듬을 따르는 비트 제스처는 대화를 생동감 있게 만든다. 반면 지시·참조 제스처는 환경 속 특정 물체나 위치를 가리키며 실질적인 정보를 전달한다. 장면 정보 없이 음성만으로 동작을 생성하면 손짓이 자연스럽더라도 실제 대상이나 위치를 정확히 지시하기 어렵다.1
AgentHands는 지시·도상·표현의 세 가지 의미 범주로 구성된 손 제스처 라이브러리를 사용한다. 언어 모델 출력의 특정 단어에는 GestureEvent 형태의 무대 지시가 삽입되며, 각 이벤트에는 제스처 유형과 가리킬 물체·위치 같은 실행 매개변수가 포함된다. 언어 모델이 비언어적 의도와 매개변수를 정하면 렌더링 계층이 이를 3D 동작으로 변환한다.1
XR 헤드셋의 로컬 파서는 단어 단위 타임스탬프를 이용해 TTS 재생과 손 애니메이션을 동기화한다. 그 결과 에이전트는 “이 부품”이라고 말하는 순간 해당 부품을 가리킬 수 있다. 중요한 판단 기준은 동작의 화려함이 아니라 대상·방향·타이밍이 말과 정확히 맞는지다.
효과는 공간 작업을 기준으로 판단해야 한다
연구진은 참가자 12명을 대상으로 AgentHands와 음성 전용 기준 조건을 비교하는 피험자 내 연구를 진행했다. 참가자들은 AgentHands 조건에서 특정 물체와 방향을 더 쉽게 찾고, 복잡한 동작을 더 쉽게 따라갈 수 있다고 평가했다(p < 0.05).1
다만 참가자 수가 12명인 만큼 이 결과를 광범위한 효과로 일반화하기보다는 초기 연구 결과로 해석하는 편이 적절하다. 실제 적용에서는 다음 질문을 중심으로 검증할 수 있다.
제스처가 음성 내용을 단순히 반복하는가?
음성만으로 부족한 대상·위치·방향 정보를 추가하는가?
말과 손동작이 필요한 순간에 정확히 맞물리는가?
사용자가 물체를 찾거나 복잡한 동작을 따라가는 데 실질적으로 도움이 되는가?
이 기준에 따르면 교육, 조립, 수리, 3D 설계처럼 ‘어디’와 ‘어떻게’가 중요한 작업이 우선적인 검증 대상이 될 수 있다.
요약: AgentHands의 의미는 더 자연스러운 아바타를 만드는 데 있지 않다. 음성의 비언어적 의도를 실행 가능한 제스처로 바꾸고, XR 에이전트의 언어를 실제 3D 공간과 연결하는 정보 채널을 제공한다는 데 있다.
1Interactive Hand Gestures for XR Agents: What AgentHands Shows
이 노트는 보도·비평·교육·연구 목적으로 작성되었습니다. 저작권 문의가 있으시면 에서 알려주세요.