earticle

영어

Sign Language are languages that use a visual means of communicating using gestures and facial expression. Finger spelling uses hand movements and shapes to spell out the proper nouns or words, which are difficult to be represented. In this study, Korean finger spelling recognition system is proposed. Landmarks are extracted from hand images by utilizing MediaPipe Hands API. Also SVM(Support Vector Machine) of scikit-learn is used to train 31 Korean finger spellings. Finger spelling such as a double consonant ‘ㄲ’ is represented by moving ‘ㄱ’ in the right direction. The proposed method recognized ‘ㄲ’ by detecting the movement of the bounding box centroid for finger spelling. Most of the previous methods are not able to recognize all the finger spellings for Korean sign language, but the proposed technique can recognize all 36 Korean finger spellings. Also, it is expected that our methods are utilized in finger spelling learning or sign language translation for hearing-impaired persons.

한국어

수어는 음성이 아닌 시각적 제스처(Gesture)를 매체로 의미를 전달한다. 시각적인 제스처를 이용하여 의미를 주고 받기 어려운 단어나 고유명사를 전달하기 위해서는 손과 손가락의 모양으로 한글의 자음과 모음을 표현한 지문자가 주로 사용된다. 본 연구에서는 MediaPipe Hands API를 이용하여 손 이미지로부터 Landmark를 추출하고 scikit-learn SVM(Support Vector Machine)을 이용하여 31개의 한글 지문자에 대한 학습 모델을 생성한다. ‘ㄲ’과 같은 지문자는 ‘ㄱ’에 대한 지문자가 오른쪽으로 이동하는 제스처로 표현되는데, 제안한 방법에서는 ‘ㄱ’ 무게 중심이 이동하는 것을 검출하여 ‘ㄲ’을 인식할 수 있다. 기존의 연구에서는 특정 수어 문장 또는 특정 지문자를 제한 적으로 인식하는 연구가 주를 이루고 있지만, 제안한 방법에서는 한글 지문자를 구성하는 36개의 지문자를 인식할 수 있기 때문에 청각장애인들의 지문자 학습, 수어 번역 등을 위해 유용하게 이용될 수 있을 것으로 기대된다.