공중에 떠 있는 가상 키보드를 두드리는 것은 팔이 풀릴 때까지 시원하게 들립니다. 이것이 오늘날 많은 AR(증강 현실) 및 MR(혼합 현실) 헤드셋의 현실입니다. 휴대용 컨트롤러를 만지작거리거나 너무 오랫동안 손을 들고 있어서 피로를 느끼게 됩니다.
도호쿠 대학의 연구원들은 더 나은 방법을 찾았다고 생각합니다. 팀은 일반 평면을 AR 및 MR 헤드셋의 터치 입력 영역으로 바꾸는 시스템을 개발했습니다. 추가 센서가 없습니다. 특별한 마커가 없습니다. 설정할 것이 없습니다.
어떻게 작동하나요?
딱딱한 표면을 손가락 끝으로 누르면 손가락 끝 아래 피부가 잠시 동안 하얗게 변합니다. 이 현상은 희게 효과(blanching effect)로 알려져 있으며, 연구자들은 헤드셋 카메라를 사용하여 이를 식별하는 방법을 개발했습니다.
연구원들은 이러한 색상 변화를 실시간으로 감지하기 위해 AI 모델을 훈련시켰습니다. 카메라가 희게 하는 효과를 인식하면 AR 환경의 표면에 표시되는 모든 항목에 매핑되는 터치 입력을 등록합니다.
연구를 주도한 Guanghan Zhao는 “이 연구는 벽, 책상, 칸막이 등 우리 주변의 일반적인 표면을 터치 입력 영역으로 사용할 수 있음을 의미합니다.”라고 말했습니다. “게다가 이 방법에는 특별한 센서나 마커, 추가 장치가 필요하지 않습니다. 누구나 쉽게 사용할 수 있습니다.”
잘 작동하나요?
연구의 사용자 연구에 따르면 시스템은 여러 가지 일반적인 표면 재료에서 터치 입력을 안정적으로 감지했으며 참가자는 상호 작용 작업을 정확하게 완료했습니다.
“우리의 주요 목표는 특별한 하드웨어 없이도 AR 및 MR을 위해 일상적인 물리적 표면에 터치 입력을 허용하는 기술을 개발하는 것이었습니다.”라고 Guanghan은 말했습니다. 그리고 손가락을 표면에 올려놓는 것이 공중에 손을 대는 것보다 훨씬 더 편안합니다.
이번 연구 결과는 지난주 한국에서 열린 제33회 IEEE 가상현실 및 3D 사용자 인터페이스 컨퍼런스에서 발표됐다. 이 논문은 또한 IEEE Computer Society Digital Library에 게재되도록 승인되었습니다.