earticle

영어

Videos are utilized mainly at recording institutions and major internet portal sites, and research on video archiving ongoing. For long-term data preservation, the information that a user wishes to preserve must be encoded and stored in an XML file using BASE64ENCODING. However, unlike conventional documents and digital images, video files are very large. In addition, as the era of big data approaches, the amount of data being stored is growing exponentially. Accordingly, an important limitation has emerged in that one cannot rely on a single long-term archival system because that system might not be able to encode a large amount of incoming data. Therefore, this paper will present a new long-term archival system that is able to divide the playable video and take advantage of encoding that utilizes the distribution environment. In order to create a distributed package, this study will propose a new metadata format that is able to manage distributed files based on the Metadata Encoding and Transmission Standard (METS). Moreover, in order to carry out the BASE64ENCODE distributed processing, the Hadoop distributed file system (HDFS) and Apache Spark will be used to store and distribute data in real time.

한국어

최근 동영상이 주요 기록기관 및 포털 사이트 등에서 주요한 콘텐츠로 활용됨에 따라 동영상 기록물에 관한 연구 또한 활발하게 진행되고 있다. 기록물의 장기보존을 위해서는 보존하고자 하는 데이터정보를 Base64 인코딩을 통해텍스트 화하여 XML파일 안에 기술해야 한다. 하지만 동영상은 전자문서나 디지털이미지와는 다르게 개별단위의기록물 용량이 매우 크다. 또한 빅데이터 시대에 도달하여 저장되는 데이터량 또한 기하급수적으로 증가하고 있다. 이에 따라 기존의 단일 장기보존시스템으로 유입되는 데이터를 Base64인코딩하는데 있어 한계가 있다. 따라서 본논문에서는 동영상 기록물을 분산 환경에서 인코딩하고, 이를 재생 가능한 동영상으로 분할하여 장기보존 할 수 있는 시스템을 제시한다. 분할 된 데이터를 패키징하기 위해 디지털 객체에 대한 각종 메타데이터를 인코딩하는 표준인 METS를 기반으로, 분할된 파일을 관리할 수 있는 새로운 메타데이터 포맷을 제안한다. 또한 Base64인코딩의분산처리를 위해 하둡의 분산환경 저장소 HDFS와 실시간 분산형 컴퓨팅 프로젝트인 아파치 스파크를 이용한다.