earticle

영어

In the financial, security, and healthcare sectors, the importance of analyzing data to make quick decisions is driving the need for new analytics techniques that can process massive amounts of data in real time and detect outliers. In this situation, existing rule-based detection techniques are unable to respond quickly to changing crime patterns and are limited in efficiency due to high false positive rates. In this study, we investigate the effectiveness of Bayesian Online Change Point Detection (BOCPD) model for outlier prediction using continuous time series data through experiments. The experiments were divided into two types: a model that applies BOCPD directly to the original time series data to predict outliers, and a model that applies BOCPD after reducing the dimensionality of the time series data to predict outliers, and then analyzed the performance of each. The results showed that the model that applied BOCPD to the original time series data had an excessively high detection rate, resulting in an overfitting problem, but the model that applied BOCPD after dimensionality reduction showed excellent change detection performance while preserving the main features of the data. This confirms that dimensionality reduction can improve the generalization performance of BOCPD and avoid the overfitting problem. In addition, in situations requiring real-time analysis or outlier detection for large-scale data, the Autoencoder BOCPD model and the Wavelet Transform BOCPD model can be good choices, and the combination of Autoencoder and BOCPD can be evaluated as an important approach to improve the efficiency of dimensionality reduction and outlier detection in various applications.

한국어

금융, 보안, 의료 분야에서는 데이터 분석을 통한 신속한 의사결정이 중요해지면서 방대한 양의 데이 터를 실시간으로 처리하고 아웃라이어를 탐지할 수 있는 새로운 분석 기법의 필요성이 대두되고 있다. 이러한 상황에서 기존의 규칙 기반 탐지 기법은 변화하는 범죄 패턴에 신속하게 대응하지 못하고 높은 오탐(false positive)율로 효율성 면에서 한계를 느끼고 있다. 이에 본 연구에서는 연속형 시계열 데이터 를 활용하여 베이지안 온라인 변화점 감지(Bayesian Online Change Point Detection; BOCPD) 모델이 아웃라이어 예측에 효과적인지를 실험을 통해 살펴보고자 한다. 실험은 크게 원본 시계열 데이터에 BOCPD를 직접 적용하여 아웃라이어를 예측하는 모델과 시계열 데이터의 차원을 축소 시킨 후 BOCPD 를 적용하여 아웃라이어를 예측하는 모델로 나누어 실험한 후 각각의 성능을 비교 분석하였다. 그 결과 원본 시계열 데이터에 BOCPD를 적용한 모델은 탐지율이 과도하게 높아 과적합(overfitting) 문제가 발생 했으나 차원 축소 후 BOCPD를 적용한 모델은 데이터의 주요 특징을 보존하면서도 우수한 변화 감지 성능을 보여주었다. 이를 통해 차원 축소가 BOCPD의 일반화 성능을 높이고 과적합 문제를 방지할 수 있음을 확인하였다. 또한 실시간 분석이나 대규모 데이터에 대한 아웃라이어 탐지가 요구되는 상황에서 는 Autoencoder BOCPD 모델과 Wavelet Transform BOCPD 모델이 우수한 선택이 될 수 있으며 특히 Autoencoder와 BOCPD의 결합 방식은 다양한 응용 분야에서 차원 축소와 아웃라이어 탐지의 효율성을 높이는 중요한 접근 방식으로 평가할 수 있다.