원문정보
Development of an Efficient Home Training System through Deep Learning-based Pose Recognition and Correction
초록
영어
Due to the spread of COVID-19, more and more people prefer to exercise at home rather than at gyms or outdoors. If you exercise in the wrong way during home training, you may get hurt and the effectiveness of the exercise may be reduced. This paper proposes a home training system that helps correct wrong posture by classifying user posture in real time through a deep learning-based posture classification model and analyzing posture based on human joint points. The joint coordinates of the pose are extracted using the MediaPipe Pose API for the video images of the trainer and the exercise input images obtained directly from the webcam, and the pose classification model is constructed by learning them as a dataset. The user can exercise while checking his or her pose recognized in real time, and can be provided with the right advice for the wrong pose. In addition, when the user exercises in the right pose, the number of exercises increases, enabling more efficient exercise. As a result of testing the performance of this system for squats and push-ups, which are representative exercises of bare-body exercise, it was found that squats were 96%, push-ups showed 95% accuracy, and pose inference speed took an average of 31 ms, making it available in real-time.
한국어
COVID-19 확산으로 인해 헬스장이나 야외보다는 집에서 운동하는 것을 선호하는 사람들이 늘어나고 있다. 홈 트 레이닝을 할 때 잘못된 방법으로 운동을 하게 되면 다칠 수도 있고 운동의 효과가 절감될 수 있는 문제가 있다. 본 논문은 학습에 기반한 포즈 분류 모델을 통해 실시간으로 사용자의 포즈를 분류하고, 사람의 관절 점을 기반으로 포즈를 분석하여 잘못된 포즈를 교정할 수 있도록 도와주는 홈 트레이닝 시스템을 제안한다. 트레이너의 비디오 영상 과 웹캠을 통하여 직접 입력받은 운동 영상을 MediaPipe Pose API를 사용하여 포즈의 관절 좌표를 추출하고, 이 를 데이터 세트로 학습하여 포즈 분류 모델을 구성한다. 사용자는 실시간으로 인식된 본인의 포즈를 확인하면서 운 동할 수 있고 잘못된 포즈에 대해서는 올바른 어드바이스를 제공받을 수 있다. 또한 사용자가 올바른 포즈로 운동을 한 경우 운동 횟수가 증가되어 보다 효율적인 운동이 가능하도록 한다. 맨몸 운동의 대표적 운동인 스쿼트와 푸쉬업 에 대해 본 시스템의 성능을 실험한 결과 스쿼트는 96%이고, 푸쉬업은 95%의 정확도를 보였고 포즈 추론 속도는 평균 31ms가 소요되어 실시간으로 활용 가능함을 알 수 있었다.
목차
Abstract
1. 서론
2. MediaPipe 기반 포즈 인식
3. 딥러닝 기반 포즈 인식 및 교정을 통한효율적인 홈 트레이닝 시스템
3.1 포즈 분류 모델 추론
3.2 운동별 포즈 교정 방법
3.3 운동 횟수 세기
4. 실험
4.1 학습 데이터 세트
4.2 실험 환경
4.3 성능 분석
5. 결론
감사의 글
참고문헌