earticle

논문검색

PIGan: Pose Invariant face reenactment for game character using a GAN-based face rotation technique

원문정보

GAN 기반의 각도 불변의 게임 캐릭터 얼굴 표정 재연

Junyoung OH, Kyungha MIN, Heekyung YANG

피인용수 : 0(자료제공 : 네이버학술정보)

초록

영어

The recent emergence of generative adversarial networks (GANs) accelerate the research on face reenactment. Face reenactment is a technique for synthesizing a face image of desired expressions from a source face using a target image of desired expressions or a vector with facial expression information. In this paper, we propose a GAN architecture-based method for reenacting the expressions of game characters with various angles through a rotation module and action unit (AU) vectors. In the first step, we devise a rotate module that synthesizes the frontalized face images from the face of a game character with arbitrary poses. This prevents the side effects of the face poses in reenacting the facial expressions. We feed the frontalized image as well as a vector with facial expression information to the generator in order to synthesize a face with the desired expression. The generator generates an attention mask indicating a region of interest of facial expression and a color mask indicating color information for the expression. This allows us to synthesize a reenacted image that generates facial expressions while preserving the identity and other attachments of a game character. The attention mask and color mask incorporate to synthesize a reenacted image with target expression. Finally, we recover the original pose of a character from the frontalized reenacted image.

한국어

최근 GAN(Generative Adversarial Network) 등장 이후 얼굴 표정 재연(face reenactment)의 연구가 활발해지고 있 다. 얼굴 표정 재연은 입력으로 주어진 얼굴 이미지를 원하는 표정의 이미지 혹은 표정 정보를 갖는 벡터(vector)을 입력으로 주어 원하는 표정으로 합성하는 기술이다. 본 논문은 GAN 아키텍쳐(architecture)를 기반으로 회전 모듈 (rotate module)과 다양한 각도의 게임 캐릭터 표정을 표정 정보를 갖는 AUs(Action Units) vector를 통해 재연시키 는 방법을 제안한다. 입력으로 다양한 각도의 게임 캐릭터 얼굴이 주어지면 회전 모듈을 통해 정면화(frontalization) 시킨 이미지를 합성한다. 이를 통해, 다양한 각도의 게임 캐릭터들은 각도의 영향에서 벗어날 수 있다. 정면화 이미 지는 원하는 표정으로 합성하기 위해 표정 정보를 갖는 AU벡터와 함께 생성자(generator)에 입력으로 주어진다. 이 때, 표정 정보를 갖고 있는 벡터는 AUs를 사용함으로써 다양한 표정과 세기(intensity)를 표현할 수 있다. 생성자는 표정 정보에 대한 관심 지역을 의미하는 관심 마스크(attention mask)를 생성하고 색상 정보를 의미하는 색상 마스 크(color mask)를 생성한다. 이를 통해, 게임 캐릭터의 특징과 기타 부착물을 보존하며 표정을 재연한 이미지를 합 성할 수 있다. 관심 마스크와 색상 마스크를 이용하여 원하는 표정으로 재연한 재연 이미지를 합성하고 다시 회전 모듈을 통해 기존의 입력 이미지의 각도로 재회전하여 원하는 결과 이미지를 얻을 수 있다.

목차

ABSTRACT
1. Introduction
1.1 reenactment of facial expressions
1.2 Application in the gaming industry
2. A related study
2.1 Facial Rotation Technology Using 3D Geometric Information
2.2 Productive Adversarial Networks (GANs)
3. Methodology
3.1 Model Components and Structures
3.2. Loss functions
4. Results and conclusions
4.1 Results
4.2 Conclusion and Future Research
Reference
<국문초록>
<결론 및 향후 연구>

저자정보

  • Junyoung OH 오준영. Dept. of Computer Science, Sangmyung Univ.
  • Kyungha MIN 민경하. Dept. of Computer Science, Sangmyung Univ.
  • Heekyung YANG 양희경. Div. of SW Convergence, Sangmyung Univ.

참고문헌

자료제공 : 네이버학술정보

    함께 이용한 논문

      ※ 기관로그인 시 무료 이용이 가능합니다.

      • 4,000원

      0개의 논문이 장바구니에 담겼습니다.