earticle

영어

Over the past decade, advancements in the entertainment industry have caused exponential growth in video data production especially movies, leading to tiresome indexing, recommendation making, and genre identification. To overcome these challenges, analyzing and understanding the movie contents is the primary step. Therefore, in this paper we proposed an intelligent framework to analyze movies from two different aspects i.e., film grammar and contextual analysis using vision and textual modality. The proposed framework first preprocessed the movie for scene segmentation. Next, the cinematographic transitions are detected such as zoom, background and text related scenes. For contextual analysis, we used customized deep models for object and text detection. Finally, the detailed description of each scene over the movie timestamp is recorded which can be use for various application such as indexing and summarization etc. The proposed framework is evaluated using movie scripts and subjective evaluation.

한국어

지난 10년 동안 엔터테인먼트 산업의 발전으로 인해 영화 데이터의 생산이 기하급수적으로 성장하여 색인 생성, 주 요장면 추천 및 장르 식별 등 다양한 연구 분야가 나타나게 되었다. 따라서 영화 콘텐츠를 분석하고 이해하는 것은 아주 중요한 분야로 자리 잡게 되었다. 본 논문에서는 시각적 요소와 텍스트 양식을 활용한 영화 문법과 맥락 분석 이라는 두 가지 측면에서 영화를 분석하는 지능형 프레임워크를 제안한다. 제안된 프레임워크는 확대/축소/배경/ 텍스트와 같이 영화에서 등장하는 장면을 감지하는 전처리 과정을 거친 후 상황별 분석을 위해 딥러닝 모델을 활용 한 객체와 텍스트 감지를 진행했다. 마지막으로 영화에서 나오는 대사를 추출하고 이를 영화 타임 스탬프를 기반으 로 각 씬에 대한 분석 결과와 영화에 등장하는 인물들의 대사를 저장함으로써 인덱싱 및 요약 등 다양한 용도로 활 용될 수 있게끔 만들었으며, 제안된 프레임워크는 주관적인 평가를 사용하여 평가를 진행하였다.