earticle

영어

Recently, research is being actively carried out to provide a user-friendly interface in virtual reality and augmented reality applications by applying rapidly developed deep learning technology. This paper proposes a deep learning-based fingertip detection method that detects real-time fingertips in order to provide the interface using the user’s hand. This method introduces the DenseNet Connectivity to the VGG-19 network without the required annotation preprocessing process in the existing object detection network, reducing the total number of parameters and the time required, and detecting the fingertips using the Atrous Convolution and the Grad-CAM. As a result of experimenting with this method in various environments, it was found that real-time processing of 34.4 ms is possible with an average recognition rate of 5% higher than the existing method (SSD network). As a result of this study, the application for real-time air-writing using the user's fingertips was developed, showing the usability of the user interface.

한국어

최근 급속도로 발전된 딥러닝 기술을 적용하여 가상현실 및 증강현실 응용에서 사용자 친화적 인터페이스를 제공하 기 위한 연구가 활발히 이루어지고 있다. 본 논문은 사용자의 손을 이용한 인터페이스를 제공하기 위하여 실시간 손 끝을 탐지하는 딥러닝 기반 손끝 탐지 방법을 제안한다. 본 방법은 기존 객체 탐지 네트워크에서 필요한 주석 전처 리 과정 없이 VGG-19 네트워크에 DenseNet의 연결 방식을 도입하여 총 파라미터 수와 소요 시간을 줄이고 Atrous Convolution과 Grad-CAM을 이용하여 손끝을 탐지한다. 본 방법을 다양한 환경에서 실험한 결과 기존 방법(SSD 네트워크)보다 평균 5% 높은 인식률로 34.4 ms의 실시간 처리가 가능함을 알 수 있었다. 본 연구 결과 로 사용자의 손끝을 이용하여 실시간 에어 라이팅을 하는 응용을 제작함으로써 사용자 인터페이스의 활용 가능성을 보였다.