earticle

영어

To achieve successful image inpainting, it is crucial for a model to understand contextual information. Previous research using Convolutional Neural Network (CNN)-based algorithms have limitations in capturing context-specific information due to a lack of long-range dependencies. To address this issue, we proposes a Multiscale Window based Vision Transformer (MWVT) model for high-quality image completion. By introducing a multi-dimensional vision transformer, the proposed MWVT can capture context information by using various window sizes, resulting in the reflectance of their respective influences. Furthermore, our MWVT incorporates a mask update module to reduce the computational cost. According to our experiments, the proposed model in this paper effectively restores the missing area and the FID value in the benchmark dataset is about 50% lower than the results of other state-of-the-art restoration models.

한국어

효과적인 영상 복원을 달성하려면 모델이 맥락정보(contextual information)를 파악하는 것이 중요하다. 합성곱 신경망(CNN) 기반 알고리즘을 사용한 이전 연구는 장거리 종속성이 부족하여 모델이 상황별 정보를 캡처 할 수 없다는 한계에 직면했다. 이를 해결하기 위해 본 논문에서는 고품질 영상 복원을 위한 다중 차원의 윈도우 (Multi-Scale Window) 기반 비전 트랜스포머 모델을 제안한다. 다중 차원 기반 비전 트랜스포머를 도입함으로써 다양한 창 크기의 영향을 반영하고 이에 따른 맥락정보를 얻을 수 있다. 또한 손실 마스크 업데이트 모듈을 적용 하여 효율적인 연산방식을 도입하였다. 실험 결과에 기반하면 본 논문의 제안 모델은 누락된 영역을 효과적으로 복원하고 벤치마크 데이터셋에서 FID 수치가 다른 최신 복원 모델들의 결과에 비해 약 50%이상 낮은 것으로 확 인 되었다. 이는 제안 복원 모델의 우수성을 검증한다고 할 수 있다.