earticle

영어

In this paper, we propose a vision-based real-time hand pose and gesture recognition method for smart device control. Each hand area is segmented based on the depth value obtained from the depth camera. Using the center point of a hand calculated from the distance map and the tracking point obtained from the depth camera, the angle of the hand is calculated. Next, the fingertips are extracted using contour tracing, approximation, and convex hull algorithm. Finally, the hidden fingertips can be recognized by learning the angle of a wrist point and a fingertip several times. In order to recognize a gesture, we construct sample gesture templates based on the Hidden Markov Models. Experimental results for a smart TV control showed that our method enabled fingertip distinction and recognized various hand gestures fast and accurately.

한국어

본 논문에서는 스마트 디바이스 제어를 위한 비전 기반 실시간 손 포즈 및 제스처 인식 방법을 제안한다. 깊이 카메라를 통하여 얻은 입력영상에서 왼손과 오른손의 영역을 분할한 후 거리맵을 이용하여 얻은 손의 중점과 깊이 카메라에서 얻은 손의 추적점 정보를 이용하여 손의 회전각도를 구한다. 그 후 외곽선 추적, 근사화 및 컨벡스 헐 알고리즘을 수행하여 손가락 끝점을 얻어낸다. 마지막으로 손목과 각 손가락 끝점간의 각도를 여러 번 학습 시켜 은닉된 손가락이 무엇인지 어떤 포즈를 취했는지 알아낸다. 또한 제스처 인식을 위하여 은닉 마르코프 모델 기반의 유형화 기법을 통하여 모범 동작의 유형 모델을 구성하고 이를 이용하여 사용자의 동작을 인식한다. 스마트 TV를 제어하기 위하여 본 방법을 실험한 결과 고속으로 정확하게 각 손가락 끝점의 구분이 가능하여 다양한 손동작 인식 및 제어가 가능함을 보여주었다.