[논문리뷰] SCINet: Time Series Modeling and Forecasting with Sample Convolution and Interaction (2/2)

4. Experiments

이 section에서는 time series forecasting에 대한 state-of-the-art model과의 비교를 보여주며, SCINet의 구성 요소의 효과를 평가하기 위한 연구를 제시한다.

 

4.1. Datasets

총 11가지 time series dataset에 대해 실험을 진행했고, 각 dataset의 정보를 정리하면 Table 1과 같다.

 

Table 1: The overall information of the 11 datasets.

 

4.2. Results and Analyses

Table 2, 3, 4, 5, 6은 SCINet에 대한 실험 결과를 보여주고 있다. 우리는 SCINet이 다른 TSF model과 비교했을 때 더욱 좋은 성능을 보여준다는 것을 관찰할 수 있었다.

 

Short-term Time Series Forecasting: short-term TSF task에 대한 SCINet의 성능을 Traffic, Solar-Energy, Electricity, Exchange-Rate dataset에 대해 다른 baseline method과 비교하여 평가했다. 이때 input length는 168, future horizon은 $\{3, 6, 12, 24\}$로 선택하였다. Table 2에서 볼 수 있듯이, 제안된 SCINet은 대부분의 경우 기존의 RNN/TCN-based 및 Transformer-based TSF solution을 능가하였다.

 

Table 2: Short-term forecasting performance comparison on the four datasets.

 

Long-term Time Series Forecasting: 실제 상황에 적용하는 경우 long-term event를 예측할 수 있어야 한다. 따라서 우리는 long-term TSF task에 대한 SCINet의 성능을 Exchange Rate, Electricity, Traffic 및 ETT dataset에 대해 측정했다. Table 3를 보면 SCINet이 state-of-the-art performance를 달성한 것을 확인할 수 있다.

 

Table 3: Long-term forecasting performance comparison with Transformer-based models.

 

Multivariate Time-series Forecasting on ETT: Table 4에서 볼 수 있듯이, LSTMa나 LSTnet과 같은 RNN-based method와 비교했을 때 Transformer-based method는 미래를 예측하기 위해 전체적인 과거 데이터에서 long-term latent pattern을 포착하기 때문에 prediction error를 줄이는 데 더 좋다. 그러나 TCN은 이러한 기본적인 Transformer-based method를 능가하는데, 이는 stacked convolutional layer가 multivariate time series에 대한 효과적인 local-to-global relation learning을 가능하게 하기 때문이다.

 

Table 4: Multivariate time-series forecasting results on the ETT datasets.

 

SCINet이 위의 모든 모델보다 훨씬 우수한 성능을 보인다는 점에 주목할 필요가 있다. Fig. 3은 ETTh1 데이터셋의 일부 무작위 선택된 시퀀스에 대한 qualitative result를 보여주는데, 이는 SCINet이 time series로부터 trend와 seasonality에 대한 정보를 효과적으로 얻는다는 것을 보여준다.

 

Figure 3: The prediction results of SCINet, Autoformer, Informer, and TCN on randomly-selected sequences from ETTh1 dataset.

 

Univariate Time-series Forecasting on ETT: 우리는 ARIMA, Prophet, DeepAR, N-Beats와 같은 univariate forecasting을 위한 baseline method를 사용했다. Table 5를 보면 N-Beats가 대부분의 경우에 다른 baseline method보다 우수하며, SCINet의 성능은 N-Beats보다 훨씬 우수하다는 것을 확인할 수 있다.

 

Table 5: Univariate time-series forecasting results on the ETT datasets.

 

Spatial-temporal Time Series Forecasting: general TSF task 외에도 spatial-temporal forecasting과 관련된 데이터가 있다. 예를 들어 traffic dataset인 PeMS (PEMS03, PEMS04, PEMS07, PEMS08)는 수십 년간 연구되어 온 public traffic network의 복잡한 spatial-temporal time series이다. Table 6에 나와 있는 것처럼, GNN-based method는 일반적으로 pure RNN or TCN-based method보다 더 나은 성능을 보인다. 그러나 SCINet은 정교한 spatial relation modelling 없이도 여전히 더 나은 성능을 달성한다.

 

Table 6: Performance comparison of different approaches on the PeMS datasets.

 

Predictability estimation: 우리는 permutation entropy (PE)를 사용하여 SCINet이 학습한 original input과 enhanced representation의 predictability를 측정했다. PE 값이 낮은 time series는 덜 복잡하다고 간주되며, 이론적으로 예측하기가 더 쉬워진다. original time series와 enhanced representation의 PE 값을 나타내면 Table 7과 같다. SCINet이 학습한 enhanced representation은 실제로 original input과 비교했을 때 낮은 PE 값을 가지는 것을 확인할 수 있다.

 

Table 7: Permutation entropy comparison before and after SCINet.

 

4.3. Ablation studies

SCINet에 사용된 구성요소의 영향력을 평가하기 위해 ETTh1과 PEMS08 dataset에 대해 실험을 진행했다. 각 요소를 제외하고 error를 측정한 결과를 그림으로 표현하면 Fig. 4와 같다. 

 

Figure 4: Component analysis of SCINet on two datasets.

 

5. Limitations and Future Work

본 논문에서는 주로 규칙적인 시간 간격으로 수집되는 regular time series에 대한 TSF problem에 중점을 두었다. 그러나 실제 time series은 noisy data, missing data를 갖거나 불규칙한 시간 간격을 갖는 irregular time series일 수 있다. 제안된 SCINet은 noisy data에 비교적 강한 성능을 보이며, progressive downsampling 및 interactive learning procedure를 통해 이로 인한 영향을 줄일 수 있다. 그러나 missing data의 비율이 특정 임계값을 초과하면 예측 성능을 저하시킬 수 있다. 또한, 제안된 downsampling mechanism은 불규칙한 간격으로 수집된 데이터를 처리하는 데 어려움이 있을 수 있다. 우리는 이러한 문제들을 SCINet의 future development에서 고려할 계획입니다.

또한, 이 작업은 deterministic time series forecasting problem에 초점을 맞추었다. 확률적 예측이 필요한 경우 SCINet을 수정하여 이러한 예측 결과를 생성할 계획이다. 마지막으로, SCINet은 spatial relation을 명시적으로 모델링하지 않고도 spatial-temporal time series에 대해 좋은 결과를 생성하지만, 예측 정확도는 spatial model을 통합함으로써 더욱 개선될 수 있다.

 

6. Conclusion

이 논문에서는 time series data의 고유한 특성에 영감을 받아 time series modeling과 forecasting을 위한 sample convolution and interaction network (SCINet)라는 새로운 neural network architecture를 제안한다. 제안된 SCINet은 downsample-convolve-interact 구조로 구성되며 다양한 convolutional filter를 포함하고 있다. 이 구조는 서로 다른 temporal resolution에서 정보를 반복적으로 추출하고 교환하며 향상된 predictability를 갖는 효과적인 표현을 학습한다. 다양한 실제 TSF dataset에서 수행한 실험은 우리의 모델이 state-of-the-art method를 능가하는 성능을 갖는다는 것을 보여주고 있다.

 

 

총평: 현 시점에서 웬만한 TSF problem에서 SOTA를 달성하는 모델인 SCINet에 대한 논문이다. TSF problem에 binary tree의 개념을 적용한다는 것이 굉장히 흥미로웠고, 실험 결과도 굉장히 훌륭했기에 좋은 모델이라는 생각이 들었다. 그리고 일주일째 이 논문의 코드를 실제 데이터셋에 적용하는 작업을 하고 있는데, 역시 논문을 읽는 것과 이를 구현하는 것은 다른 차원의 문제라는 것을 실감하고 있는 중이다. 부디 코딩하고 있는 내용이 잘 마무리되었으면 좋겠다.