earticle

영어

In this paper, we propose the algorithm using optical flow and machine learning-based segmentation for the 3D conversion of 2D video. For the segmentation allowing the successful 3D conversion, we design a new energy function, where color/texture features are included through machine learning method and the optical flow is also introduced in order to focus on the regions with the motion. The depth map are then calculated according to the optical flow of segmented regions, and left/right images for the 3D conversion are produced. Experiment on various video shows that the proposed method yields the reliable segmentation result and depth map for the 3D conversion of 2D video.

한국어

본 논문에서는 2D 동영상을 3D 입체영상으로 변환하기 위해서 머신러닝에 의한 학습기반의 객체분할과 객체의 optical flow를 활용하는 방법을 제안한다. 성공적인 3D 변환을 가능하게 하는 객체분할을 위해서, 객체의 칼라 및 텍스쳐 정보는 학습을 통해 반영하고 움직임이 있는 영역 위주로 객체분할을 수행할 수 있도록 optical flow를 도입한 새로운 에너지함수를 설계하도록 한다. 분할된 객체들에 대해 optical flow 크기에 따른 깊이맵을 추출하여 입체영상에 필요한 좌우 영상을 합성하여 생성하도록 한다. 제안한 기법으로 인해 효과적인 객체분할과 깊이맵을 생성하여 2D 동영상에서 3D 입체동영상으로 변환됨을 실험결과들이 보여준다.