earticle

영어

As the importance of time-series data increases in many industrial fields, the problem of time-series forecasting is becoming crucial. For time-series forecasting, Transformer-based models have recently received much attention in place of traditional LSTM-based models. However, Transformer-based models have a limitation in their weak ability to preserve sequential features of time-series. To address this problem, we propose a novel Transformer-based forecasting model, called 3DCformer, which combines a 3D convolution network and Transformer. The 3DCformer encoder uses dilated convolution to capture sequential features from time-series and then expands 2D time-series to 3D. The 3D convolution network then extracts representations from the extended 3D data. The 3DCformer decoder is designed to efficiently combines and learns representations of both short-term and long-term features extracted from the encoder. Through extensive experiments, we show that our proposed 3DCformer achieves 16.18% lower MAE and 24.53% lower MSE compared to the existing State-Of-The-Art models.

한국어

다양한 분야에서 시계열 데이터의 중요성이 증가하면서 미래의 시계열 데이터를 정확하게 예측하는 것이 중요한 문 제로 대두되고 있다. 시계열 데이터 예측 분야에서는 오랫동안 LSTM 기반 모델을 사용했지만, 최근에는 트랜스포 머 모델이 주목받기 시작했다. 하지만 트랜스포머 모델 구조는 시계열의 순차적인 특성을 보존하는 능력이 약하다는 한계를 가진다. 본 논문에서는 이것을 해결하기 위해 3D 컨볼루션 네트워크와 Transformer를 결합한 구조의 3DCformer를 제안한다. 3DCformer의 인코더는 dilated 컨볼루션을 사용하여 입력 데이터의 순차적인 특성을 강화한 뒤 2D 입력 데이터를 3D로 확장한다. 그 후 3D 컨볼루션 네트워크를 통해 확장된 특성에서 표현을 추출한 다. 3DCformer의 디코더는 인코더에서 추출한 짧은 기간과 긴 기간의 시계열 데이터의 표현을 효율적으로 결합 및 학습하는 구조로 설계한다. 광범위한 실험을 통해 3DCformer가 기존 State-Of-The-Art 모델에 비해 16.18% 낮은 MAE와 24.53% 낮은 MSE를 달성함을 보인다.