earticle

영어

A data center collects a very large volume of data from various kinds of sensors that is used by the data center monitoring system for the center’s efficiency management and improvement. As the recent trend of large size data center leads to the explosion of sensor data, the monitoring system requires streaming data processing to process and to analyze large volume of real-time data. This paper proposes an event time based real-time streaming processing model for large sensor data. The event time is the time when the data is generated at a sensor. This paper also presents a method to provide scalability of streaming data processing. For the event time based real-time streaming processing, a latency problem between data generation time and processing time should be resolved. We provide a solution based on filtering, slack time, window doubling and coordinate time methods. In order to provide the scalability, this paper builds an experimental monitoring system based on distributed streaming systems and shows an analysis of its performance and efficiency.

한국어

데이터센터는 다양한 센서로부터 수많은 종류의 데이터를 수집하고 있으며 이러한 데이터는 데이터센터 모니터링시스템의 분석을 통해 센터의 효율 관리와 개선에 활용되고 있다. 최근에는 데이터센터의 대형화 추세에 따라 센서데이터 양이 폭발적으로 증가하고 모니터링 시스템은 대량의 실시간 스트리밍 데이터에 대한 분석 및 처리 방안이필요하게 되었다. 따라서 본 논문에서는 데이터 발생시간인 이벤트 시간을 기반으로 한 대량의 스트리밍 센서데이터 처리 방안과 데이터양의 증가에 따른 처리 확장성(scalability) 제공 방안을 제시하고자 한다. 이벤트 시간 기반스트리밍 처리를 위해서는 데이터 발생시간과 처리시간 사이의 시간 지연 문제가 해결되어야 하는데 이를 위해 필터링(filtering), 추가시간(slack time), 윈도우 더블링(window doubling), 조정시간(coordinate time) 등을 이용한 처리 방안을 제시한다. 또한 처리 확장성 제공 방안으로 분산 스트리밍 시스템을 활용한 모니터링 시스템 구축 방안을 제시하고 실험적 시스템 구현을 통해 그 효율과 성능을 분석한다.