[Paper Review] Less Is More - Fast Multivariate Time Series Forecasting with Light Sampling-oriented MLP Structures (2022)

Introduction

 

 

다변량 시계열은 여러 요인, 변수(variable)의 변동을 포함하는 시계열을 의미한다.

이러한 다변량 시계열은 실생활의 여러 도메인(응용분야)에 시계열 분석을 적용하는 데 있어서 매우 핵심적인 task가 되어왔다.

다변량 시계열의 핵심은 시계열 변동이 과거 값에 영향을 받는 것뿐만 아니라 변수들 사이의 상호작용에도 의존(dependent)한다는 것이다.

따라서 이를 모델링하는 것은 그러한 두 영향을 밝혀는 것이 중요한데, 구체적으로 1) 하나의 시계열이 가지는 local한 패턴과 global한 변동을 포착하는 것과, 2) 여러 변수 사이의 연관관계(inter-dependency)를 포착하는 것이 핵심이다.

 

한편 Deep한 neural network를 가진 딥러닝 모델은 매우 복잡한 패턴을 포착하는 데 강점이 있기 때문에 그동안 다변량 시계열에도 딥러닝 모델을 적용하려는 시도가 이어져왔다.

실질적으로 컴퓨팅 성능이 발전하고 여러 혁신적인 딥러닝 아키테처들이 제안되면서 많은 연구들이 RNN, GNN, Transformer 기반의 모델을 다변량 시계열에 적용해왔다. 그 결과로 제안된 여러 복잡한 구조를 가진 모델들은 특정상황(specific senario)에서 좋은 성능을 보이기도 했지만, 여러 실험을 거치며 그들은 학습의 효율성과 효과성에 한계점을 가지고 있는 것으로 드러났다.

먼저, 그들의 정교하고 복잡한 아키테처는 모델을 훈련하고 결과를 추론하는 과정의 계산비용이 매우 크다는 문제가 있다. 이러한 문제는 특히 시계열 분석의 주요 challenge인 장기 시계열 문제(input길이가 긴)와 여러 상관관계가 얽힌 다변량 시계열일 때 더 심각해진다.

또한, 그 모델들은 추론해야 할 파라미터가 너무나도 많기 때문에 언제나 데이터가 부족할 수 있다는 문제가 있다. 만약 인풋 데이터가 충분하지 않다면 그 훈련된 모델은 robutness(강건함)을 잃게 될 수도 있는데, 만약 그렇게 된다면 매우 복잡한 요인과 불확실한 미래가 기다리는 실생활에서 그 모델은 제 기능을 발휘하지 못할 것이다.

 

이에 이 논문의 저자들은 다음과 같은 의문을 던지며 그에 대한 해답을 찾아나간다.

 

"Is it necessary to apply complex and computationally expensive models to achieve state-of-the-art performance in multivariate time series forecasting?"

(다변량 시계열 예측의 좋은 성능을 내는 데 있어서, 복잡하고 계산적으로 큰 비용을 치루는 모델을 필수적으로 적용해야 할까?)

 

NO.

 

결론적으로 논문에서는 위 질문에 대해 "아니다"라고 말하며, 그 근거가 되는 새로운 모델과 여러 실험들을 수행하였다.

먼저 논문의 저자들은 더 "다변량 시계열"을 모델링하는 더 효과적이고 효율적인 모델을 모델을 제안하는 데 있어서 "MLP(Multi -  LayerPerceptron) 구조"를 들고나왔다.

MLP는 딥러닝의 기본적인 구조로 다른 복잡한 변형들에 비해 매우 가벼운 구조이며, 저자들은 여기에 정보 손실없이 핵심을 축약하는downsampling 매커니즘을 추가하여 새로운 모델을 만들었다.

 

그 모델은 "LightTS"로, 이 모델은 앞서 언급한 다변량 시계열 문제의 핵심 문제를 모두 다루고 있다.

 

다변량 시계열의 핵심 문제

1) 하나의 시계열이 가지는 local한 패턴과 global한 변동을 포착하는 것

2) 여러 변수 사이의 연관관계(inter-dependency)를 포착하는 것

 

LightTS가 제시하는 아이디어

"복잡한 구조가 아닌 단순한 MLP의 구조를 이용하여 효과와 효율을 높일 수 있다."

 

1. 두 가지 downsampling 전략을 적용한다.

 

1-1) interval sampling, 이는 일정한 간격을 두고 샘플을 추출하는 방식으로 global한(trend) 변동을 포착하기 위해 쓰인다.

1-2) continuous sampling, 이는 간격없이 순서대로 이어서 샘플을 추출하는 방식으로  local한(seasonal) 변동을 포착하기 위해 쓰인다.

 

2. 전체 구조에 Exchange information를 활성화한 MLP 구조를 추가하였다. 

 

 

RELATED WORK

 

*앞선 논문 리뷰들과 겹치는 내용이 대부분이기 때문에 매우 간략하게 요약만 하였습니다.

 

 

1. Statistical Model (통계 모델)

전통적으로 시계열 분석에 있어서 auto-regression (AR), moving average (MA), and auto-regressive moving average (ARMA), auto-regressive integrated moving average model (ARIMA), vector autoregressive model (VAR) 등이 제안되었다. 그러한 모델들은 매우 효율적으로 예측을 수행할 수 있다는 장점이 있지만, 이들은 정상성과 같은 매우 엄격한 가정을 충족해야하며, 차원이 큰 다변량 모델에는 부적합하다는 치명적인 단점이 있다.

 

2. Deep-learning-based Methods

그동안 시계열 예측, 나아가 장기 시계열 예측 문제에 대해서 여러 응용 알고리즘들이 적용되었지만, 이 논문에서는 순수 MLP 기반의 모델에 집중한다. 논문에서 언급하길, 다변량 시계열 예측 문제에서 순수 MLP 기반의 모델을 적용하는 일부 아이디어는 N-BEATS의 연구에서 얻었다고 한다. 

N-BEATS: NEURAL BASIS EXPANSION ANALYSIS FOR INTERPRETABLE TIME SERIES FORECASTING

 

위와 같은 모델을 참고하여 순수한 MLP로만 구성된 모델을 제안할 수 있었으며, 여기에 더하여 최근 Computer Vision분야에서 MLP 구조를 통해 정보의 교환을 활성화하듯, 이 모델에도 정보 교환을 활성화하는 장치를 고려하였다. 다만, 본 논문에서 제안하는 모델은 CV의 그것과 달리 Original sequence와 Down-Sampling한 sub sequence에 모두 정보 교환을 활성화했다는 점에서 차이가 있다.

 

 

 

OUR MODEL: LIGHTTS

 

 

본 논문에서 제안하는 모델인 Light-TS의 구조는 위와 같다.

앞서 이 모델에서 정의한 "다변량 장기 시계열 예측"의 핵심 문제를 상기해보면 다음과 같다.

 

1) 하나의 시계열이 가지는 local한 패턴과 global한 변동을 포착하는 것

2) 여러 변수 사이의 연관관계(inter-dependency)를 포착하는 것

 

위 모델에서 1)의 문제를 다루고 있는 요소는 바로 Continuous sampling과 Interval sampling, 이 두 가지 "down samlping"기법이다. 한편 2)의 문제는 총 세 가지의 information exchange block이 다루고 있다.

 

 Continuous sampling + Interval sampling

 

"TimeSeries is a Special Sequence: Forecasting with Sample Convolution and Interaction. arXiv preprint arXiv:2106.09305 (2021)"의 연구에서 시계열이 자연어나 음성 데이터와 달리 다운 샘플링을 적용하더라도 그 정보가 보존된다는 특징이 있다는 것을 밝혀내었다. 그런데 단순한 uniform sampling과 같은 나이브한 다운 샘플링은 오히려 정보 손실을 야기할 수 있다.

이에 본 논문에서는 위와 같은 사실에서 영향을 받아 다운 샘플링 기법을 적용하되 나이브하지 않은 방식인 Continuous, Interval sampling을 디자인 하였다. 전자는 local한 변동을 포착하며, 후자는 global한 변동을 포착하는 기능을 한다. 

 

먼저 위 그림을 살펴보면 두 샘플링은 공통적으로 T만큼의 윈도우, 즉, 인풋 시퀀스를 C만큼 다운 샘플링 한다. 그렇게 되면 인풋의 길이가 T에서 C로 줄어들며, 그 하위 시퀀스의 차원은 C x T/C가 되고 다변량 변수의 수인 N만큼 생성된다. (위 그림 참조) 

 

1. Continuous sampling

 

연속 샘플링은 간격없이 연속적으로 샘플링하는 것으로 지엽적인(local) 변동을 포착하는 기능을 한다. 

이러한 연속 샘플링의 결과인 하위 시퀀스는 다음과 같다. (j 번째 컬럼)

 2. Interval sampling

간격 샘플링은 일정한 간격을 두고 샘플링하는 것으로 큰 추세의 (global) 변동을 포착하는 기능을 한다.

이러한 간격 샘플링의 결과인 하위 시퀀스는 다음과 같다. (j번째 컬럼)

 

위와 같은 두 가지 샘플링 기법으로 지엽적인 변동과 큰 추세의 변동을 모두 효과적으로 포착하며, 동시에 인풋 시퀀스를 다운 샘플링을 통해 간소화하여 연산의 효율성까지 확보한다.

또한, 논문에서 언급하길 이 샘플링의 특별한 점은 나이브한 샘플링과 달리 어떠한 토큰도 제거하지 않고 모든 인풋의 정보를 처리한다는 것이다. 

 

Information Exchange Block

 

이 세션은 위에서 규명한 두 가지의 핵심 문제 중 2번째, 여러 변수 사이에 연관관계를 효과적으로 포착하기 위한 방법을 제안하며, 그 방법으로써 선택한 MLP 기반의 구조를 설명한다. 

Information Exchange Block(이하 IE 블록)은 위 그림에서 확인할 수 있듯이 전체 모델의 아키테처에서 총 세 번 이용되는데, 이는 sampling part와 prediction part에서 모두 이용되며 그 목적은 서로 다른 차원을 따라 정보를 교환하고, 다른 차원으로 아웃풋을 형성하는 데 있다.

블록을 확대한 그림은 아래와 같다.

 

 

*위 그림에서 인풋의 차원을 (H x W)로 표현한 이유는 바로 이 H,W가 샘플링 과정의 part1과 예측 과정의 part2에서 각각 다른 의미를 가지기 때문이다.

 

1. 샘플링 (part1)

여기서 H는 다운 샘플링의 결과인 sub-sequence C를 의미하고, W는 원래 input 길이 T를 C로 나눈 T/C를 의미한다.

(H = C, W =  T/C)

 

2. 예측 (part2)

여기서 H는 part1의 결과로 추출된 feature의 차원이며,  W는 변수의 개수인 N을 의미한다.

(H = part1의 아웃풋 차원, W = N)

 

주목할 점은 이 IE 과정 속, "MLP가 (projection) 총 세 번 이용된다"는 것과 블록의 구조가 처음과 끝보다 "중간 과정의 차원이 더 작은 Bottleneck 구조"인 것이다.

 

- MLP (projection)

이 과정은 인풋에서 아웃풋으로 가는 과정 속에서 총 세 번 이용되는데, 과정을 거치며 차원을 변환하여 정보를 추출하는 역할(temporal, output projection)과 그 차원을 따라 정보를 교환하는 역할(channel projection)을 한다. 

 

1. temporal projection

이 projection은 각 "column"에 MLP를 적용하는데, (H x W)차원의 sub sequence를 인풋으로 받아 하이퍼 파라미터인 (F' x W)의 차원의 아웃풋을 산출한다. 이 과정은 temporal dimension, 즉, H를 따라 정보를 추출하는 역할을 하는 것인데, 모든 column이 가중치를 공유하도록 하여 효율성을 확보했다.

 

2. channel projection

이 과정은 각 "row"에 MLP를 적용하며, 차원은 여전히 (F'xW)로 유지한 채 W사이의 정보교환을 활성화한다. 또한 마찬가지로 모든 row가 같은 가중치를 고려하여 효율성을 확보하였다. 특히 이 단계는 여러 변수가 겹쳐있는 row, 즉, 행을 인풋으로 받아 각 변수간의 상호작용을 반영하는 역할을 한다는 것에 주목해야 한다.

 

3. output projection

이 과정은 다시 각 "column"에 MLP를 적용하여 최종 아웃풋의 차원인 (F x W)의 차원의 결과를 산출한다. (F = 하이퍼 파라미터)

 

- Bottleneck Design

IE블록은 위 그림에서 살펴볼 수 있듯이 처음과 끝의 차원보다 중간의 차원이 더 작은 보틀넥 구조를 지닌다.

논문에서 언급하길 이러한 디자인은 "계산 효율성"을 확보하기 위함이다. 위 MLP의 과정 중 2번째인 channel projection이 모든 row에 대해 적용되는데, 인풋 시리즈가 길어질수록 계산비용이 매우 커지게 된다. 따라서 위 디자인처럼 projection을 통해 차원을 줄여준다면 계산 비용을 낮출 수 있다.

 

Experiment

 

마지막으로 본 논문에서는 Light - TS의 성능을 비교, 평가하기 위해 실험을 진행하였다.

실험의 구성은 다음과 같다.

 

목적: Light - TS의 accuracy, efficiency, and robustness를 평가한다.

데이터: 기존 트랜스포머 연구에 쓰인 벤치마크 데이터(Long sequence, "multivariate")

평가방식: Long sequence forecasting, Shor sequence forecasting

평가기준: MSE, MAE (for long) / Root Relative Squared Error (RSE) and Empirical Correlation Coefficient (CORR) (for short)

 

 

Long sequence forecasting

 

장기 시계열 예측 실험의 결과는 아래와 같다.

LightTS는 weather를 제외한 모든 데이터 셋에서 state-of-the-art의 성능을 달성하였다.

특히 그 증가폭은 평균적으로 약 20%로, 꽤 높은 진전을 보인 결과라고 할 수 있다.

논문에서는 이 성과에 대해 continuous와 interval 두 샘플링이 local한 변동과 global한 변동을 잘 잡아낸 덕분이라고 말한다. 뿐만 아니라 이는 다운 샘플링을 통한 효율적 학습 또한 달성한 결과라는 것이 더욱 의미가 있다.

 

*weather 데이터 셋에서는 Autoformer가 가장 좋은 정확도를 보였다. 필자가 추측하길, 이는 요소분해를 통해 얻어낸 계절변동에 Auto-correlation 매커니즘을 적용하여 유사한 sub-series를 추출하는 Autoformer의 장점 덕분이다. 날씨는 매년 추세가 조금씩 변하지만 계절성이 가장 지배적이라고 알려져 있기 때문에, 이러한 계절 변동을 Autoformer가 잘 포착하였다고 해석해볼 수 있다.   

 

 

 

Short sequence forecasting

 

 

 

LightTS는 Solar-Energy 데이터 셋에서 SOTA의 성능을 달성하였다.

그런데, 나머지 데이터 셋에서는 그 성능이 SOTA인 것도 있으나 일관되지 못한 결과가 나왔다.

Traffic, Electricity, Exchange-Rate 데이터 셋에서는 어떠한 모델도 다른 모델을 압도하는 성능을 보이지 못하였는데, 그 대신 LightTS는 러닝 타임 등 효율성 측면에서 압도적이라는 확실한 비교우위를 가지고 있다.

 

 

Efficiency

 

 

위 실험 결과는 앞서 제시한 장기 시계열 예측에서 가장 긴 horizon(위에서 720 시점)을 예측하는 상황의 러닝 타임을 측정한 것이다. 위 결과는 구체적으로 1 epoch에 걸린 러닝 타임을 초 단위로 기록한 것인데, LightTS가 정말 압도적으로 짧은 시간을 기록하였다. 

 

 

Robustness Analysis

 

본 논문에서 주장하길, 강건성은 장기 시계열 문제에 있어서 매우 중요하다. 왜냐하면, 잘못된 추세와 계절성의 예측은 계속 누적되어 결국에는 심각한 오류를 낳을 수 있기 때문이다. 

위 결과는 Random-Seed를 통한 무작위 학습의 예측 결과를 보여준다. 주황색 구간은 각각 다른 5번의 random-seed를 통한 예측 결과의 범위를 시각화한 것인데, (a)LightTS의 예측 범위가 가장 폭이 좁으며 실제와 유사한 것을 확인할 수 있다.

 

마찬가지로 random-seed를 통한 학습 정확도의 평균과 표준편차를 집계한 결과 LightTS가 가장 Variance가 낮은 강건한 결과를 보였다.

 

 

마치며

 

필자는 처음에 이 논문을 훑어보며 LightTS가 어떻게 높은 효율성을 이루어냈는 지에 대해 관심이 많이 갔다. 따라서 이름처럼 어떻게 가벼운 모델을 구현해낼까를 먼저 자세히 살펴보았고, 다운 샘플링을 통해 효율성을 높였다는 것에 고개를 끄덕였지만 무엇보다 이 모델이 global, local 변동을 모두 잡아내어 효과성까지 얻어냈다는 것이 매우 인상적이었다.

또한 이 논문에서 필자가 관심을 가졌던 또 다른 부분은 바로 다변량 시계열 예측 문제에서 변수간의 관계를 포착해내는 매커니즘을 직접 설명하고 있는 부분이었다. 이 모델에서는 IE 블록 내부의 channel projection 과정에서 이를 포착하고 있는데, 앞으로도 시계열의 Temporal Dependency를 포착하는 방식 이외에도 다변량 인풋 사이의 관계를 잡아내는 다양한 방법들이 많이 제안되었으면 좋겠다는 생각이 들었다. 물론 필자 또한 이것을 좋은 연구기회로 삼아보려고 한다.

 

앞으로도 이러한 anti-transformer 모델들이 많이 제안될 것 같은 분위기다. 필자 또한 그러한 기조로 논문을 작성하고 있는데, 앞으로 나올 트랜스포머의 반론과 또 어떠한 창의적인 방식으로 time dependency와 다변량 사이의 관계를 포착하는 방법론이 제안될 지 관심있게 지켜볼 필요가 있을 것 같다.