earticle

영어

In this paper, we proposes a contact-less input interface in a smart glass environment through real-time recognition of hand poses without using any keyboard or mouse. First, a histogram distribution chart of depth values is created through the first-order differentials of depth values in depth camera input images, and inflection points are calculated to segment the areas of left and right hands. Then the hand rotation angle and hand center point of each hand area are calculated. After that, the centroid point of the hand boundary crossing is determined while expanding the circle at a fixed interval from the center of each hand so as to detect the hand joint points and end points. The hand information obtained before is matched with the hand model of the previous frame to recognize a hand pose and the hand model is updated for the next frame. In addition, virtual keyboard is registered by calculating the position of the palm while expanding the circle from the center of left hand and the keyboard click is detected by comparing the depth values of index fingertip to those of its adjacent pixels. This method enables hand pose recognition through the hand model of the previous frame by using the temporal consistency between continuous frames and allows the virtual keyboard input with no physical input device in the wearable environment. Recognition experiments for various hand poses showed over 95% average recognition rate and over 80% accuracy rate for virtual keyboard clicks. Furthermore, the proposed method showed the processing speed of about 34 frame per second, thus enabling real-time processing.

한국어

본 논문에서는 스마트 글래스 환경에서 키보드나 마우스를 이용하지 않고 실시간 손 포즈 인식을 통한 비접촉식 입 력 인터페이스 기술을 제안한다. 먼저 깊이 카메라 입력영상에서 깊이 값에 대한 1차 미분을 수행하여 히스토그램 분포도를 만들고 변곡점을 계산하여 왼손과 오른손의 영역을 분할한 뒤, 각 손 영역에 대하여 손 회전각과 손 중심 점을 계산한다. 그리고 손의 중심점에서 일정간격으로 원을 확장해 나가면서 손 경계 교차점의 중간 지점을 구해 손가락 관절과 끝점을 검출한다. 앞서 구한 손 정보와 이전 프레임의 손 모델간의 매칭을 수행하여 손 포즈를 인식 한 후 다음 프레임을 위하여 손 모델을 갱신한다. 또한 손의 중심으로부터 원을 확장하여 손바닥 위치를 구하여 가 상 키보드 정합을 수행하고 손 끝점과 인접픽셀의 깊이값을 비교하여 클릭을 감지한다. 본 방법은 연속된 프레임간 의 시간 일관성을 이용하여 이전 프레임의 손 모델 정보를 기반으로 실시간 손 포즈 인식이 가능하고 착용형 단말기 환경에서 물리적 장치 없이 가상키보드 입력이 가능하다. 다양한 손 포즈에 대해 인식 실험을 한 결과 평균 95% 이상의 인식률을 보였으며 가상 키보드 클릭의 경우 80% 이상의 정확도를 보였다. 또한 속도는 초당 34 프레임의 성능을 보여주어 실시간 처리가 가능함을 알 수 있었다.