earticle

영어

The recent rapid development of deep learning technology has made it easier to produce deepfakes, which are extremely realistic synthetic media. In particular, the development of generative models such as GAN (generative adversarial network) has created an environment in which even ordinary people can easily create high-quality counterfeit content, and this development of technology is causing serious social problems such as invasion of personal privacy, dissemination of false information, and financial fraud. In this study, a novel deepfake detection framework is proposed based on multi-modal feature learning. The proposed method is designed with a multi-stream neural network that comprehensively utilizes the spatial attributes of images, the temporal dynamics of videos, and the distinct characteristics of audio. Furthermore, a cross-attention mechanism is introduced to effectively utilize the mutual information among different modalities.

한국어

최근 딥러닝 기술의 비약적인 발전으로 인해 극도로 사실적인 합성 미디어인 딥페이크의 제작이 용이해졌다. 특히 GAN(generative adversarial network)과 같은 생성 모델의 발전은 일반인도 쉽게 고품질의 위조 콘텐츠를 생성할 수 있는 환경을 조성하였으며, 이러한 기술의 발전은 개인의 프라이버시 침해, 허위정보 유포, 금융 사기 등 심각한 사회적 문제를 야기하고 있다. 새로운 딥페이크 기술로 생성한 콘텐츠가 확산될 때 가설 기반 콘텐츠의 정보 분포를 활용하여 자가 진화가 가능한 딥페이크 탐지 시스템 기술 개발 높은 정확도를 기반으로 음성과 이미지 그리고 영상 등 다양한 모달리티를 통합하여 탐지할 수 있는 딥페이크 탐지 연구가 필요하며, 본 논문에서는 다중 모달 특성 학습에 기반한 새 로운 생성형 딥페이크 탐지 프레임워크를 제안한다. 제안된 방법은 이미지의 공간적 특성, 비디오의 시간적 특성, 그리 고 오디오 특성을 통합적으로 활용하는 다중 스트림 신경망 구조를 기반으로 하며, 교차 주의집중 메커니즘을 도입하여 각 모달리티 간의 상호 정보를 효과적으로 활용하여, 생성형 딥페이크 탐지를 개선하였다.