earticle

영어

Due to the impact of the COVID-19 pandemic, the untact culture through avatars that represent oneself in the virtual world is spreading in various fields, including metaverse, virtual YouTubers, webtoons, web novels, and games. Following this trend, this paper proposes a dance game through real-time avatar retargeting. When a game player's real-time dance video is input through a webcam connected to a PC or mobile device, the 3D joint position is estimated using the MediaPipe Pose API. The estimated joint position landmarks are transmitted to Unity through local socket communication and retargeted to the humanoid avatar character. Game players can imitate the dancer’s dance on the screen to the music and watch them dance through their avatars at the same time. Based on the landmarks of dancer and game player, the keypoint vectors are defined, the time difference between movements is corrected by dynamic time warping, and the cosine similarity of each keypoint vector is obtained to evaluate the dance similarity. As a result of experimenting with 10 students with various bodies, this game showed an average 17-20 fps gameplay performance, and feedback was obtained that playing games through avatars was less burdensome and increased immersion than performing while looking at yourself. In addition to games, this research method can be used in various fields such as exercise posture analysis, posture correction, robot control, and behavior recognition.

한국어

코로나 19 팬데믹의 영향으로 가상의 세계에서 자신을 대신하는 아바타를 통한 언택트 문화가 메타버스, 버추얼 유 투버, 웹툰, 웹소설, 게임에 이르기까지 다양한 분야에서 확산되고 있다. 이러한 흐름에 따라 본 논문은 실시간 아바 타 리타게팅을 통한 댄스 게임을 제안한다. PC나 모바일 기기에 연결된 웹캠을 통하여 게임 플레이어의 실시간 댄 스 동영상을 입력받으면 MediaPipe Pose API로 3차원 관절 위치를 추정한다. 추정된 관절 위치 랜드마크를 로컬 소켓 통신을 통하여 유니티로 전송하여 휴머노이드 아바타 캐릭터로 리타게팅한다. 게임 플레이어는 화면에 보이는 댄서의 춤을 음악에 맞춰 따라 하면서 자신이 추는 모습을 아바타를 통해 볼 수 있다. 댄서와 게임 플레이어의 랜드 마크를 기반으로 키포인트 벡터를 정의하고 동적 시간 워핑으로 동작간 시간차를 보정한 후 각 키포인트 벡터의 코 사인 유사도를 구하여 댄스 유사도 평가를 한다. 본 게임을 다양한 신체를 가진 10명의 학생을 대상으로 실험한 결 과 평균 17~20 fps 게임 플레이 성능을 보였고 아바타를 통해 게임을 하는 것이 직접 본인의 모습을 보면서 수행 하는 것보다 덜 부담되면서 몰입도가 증가되었다는 피드백을 얻을 수 있었다. 본 연구방법은 게임 외에 운동자세 분 석, 자세교정, 로봇제어, 행동인식 등 다양한 분야에 활용될 수 있다.