earticle

영어

With the development of virtual reality technology, in recent years, user-friendly hand gesture interface has been more studied for natural interaction with a virtual 3D object. But most earlier studies on the hand gesture interface are using relatively simple hand gestures. In this paper, we classify intuitive and common hand gestures into certain types and present a hand gesture recognition algorithm based on the machine learning to improve the recognition ratio of each hand gesture. First of all, we use Leap Motion to get hand information and then preprocess the hand data to correct the input errors. Next, we classify the data through the binary decision tree and construct the hand feature data. Finally, the input gesture is recognized based on the MCSVM-based machine learning for static gesture and the HMM-based machine learning for dynamic gesture. Experimental results showed an average of 98.6% recognition ratio of 17 kinds of command hand gestures for interaction with a 3D object in a 'Virtual Block' game application. This hand gesture interface can be used as an input interface in various virtual reality application fields such as game, education, medical field, etc. without using mouse or keyboard device.

한국어

최근 가상현실 기술의 발전으로 가상의 3D 객체와 자연스러운 상호작용이 가능하도록 하는 사용자 친화적인 손 제 스처 인터페이스에 대한 연구가 활발히 진행되고 있다. 그러나 대부분의 연구는 단순하고 적은 종류의 손 제스처만 지원되고 있는 실정이다. 본 논문은 직관적이고 보편적인 손 제스처를 유형별로 분류하고 각 제스처의 인식률을 높 이기 위한 머신러닝 기반 손 제스처 인식 방법을 제안한다. 먼저 립모션을 이용해 입력된 손 정보를 전처리 과정으 로 인식오류를 수정한다. 그리고 난 후 이진 결정트리를 기반으로 1차 분류를 수행한 다음 손 특징 정보를 구성한 다. 입력된 제스처가 정적 제스처인 경우는 MCSVM 학습을 수행하고 동적 제스처인 경우는 HMM 학습을 수행하 여 최종적으로 손 제스처를 인식한다. 본 방법의 검증을 위하여 ‘Virtual Block’ 게임을 구현하여 실험한 결과 17개 의 제스처 인터페이스에 대해 평균 98.6%의 인식률을 보였다. 본 연구의 결과는 마우스나 키보드 필요 없이 게임, 교육, 의료 등 다양한 가상현실 응용 분야에서 입력 인터페이스로 활용될 수 있다.