[Paper Review] Are Transformers Effective for Time Series Forecasting?(2022)

*시작하기에 앞서, 기본 트랜스포머의 구조와 그 변형들에 대한 배경지식이 있는 분들은 이 논문의 실험만 살펴보셔도 무방합니다.

 

1. Introduction

시계열 예측(Time Series Forecasting)은 실생활의 다양한 도메인에서 널리 응용되고 있다.

지난 세월동안 이러한 TSF에 있어서 ARIMA와 같은 전통적인 통계 모형, GBRT와 같은 머신러닝, RNN 기반/CNN 기반 알고리즘과 같은 딥러닝 알고리즘이 적용되어 왔다. 그런데 비교적 최근에 등장한 딥러닝 모델인 "트랜스포머"는 sequential task에서 매우 훌륭한 성능을 바탕으로 NLP, CV 분야에서 다른 알고리즘들을 압도하고 있는데, 이에 따라 같은 sequential task인 시계열 분석 분야에도 이러한 트랜스포머를 적용하려는 노력들이 이어져왔다.

그 결과, LogTrans(NeurIPS 2019), Informer(AAAI 2021 Best paper), Autoformer(NeurIPS 2021), Pyraformer(ICLR 2022 Oral), Triformer(IJCAI 2022), FED-former(ICML 2022) 등과 같은 변형 모델들이 제안되었다.

이들은 특히 트랜스포머의 어텐션 매커니즘을 바탕으로 그동안의 challenge였던 장기시계열 예측 문제(LTSF)에도 훌륭한 성능을 보였다.

본 논문에서는 기본 트랜스포머(Vanilla Transformer)를 포함한 트랜스포머 변형모델들이 그러한 좋은 성능을 낼 수 있었던 이유가 바로 "셀프 - 어텐션 매커니즘" 덕분이었다고 말한다.

(모든 변형모델들이 어텐션 매커니즘을 그대로 이용하고 있는 것은 아니다. Autoformer와 FED-former는 다른 매커니즘을 이용한다.)

 

그러나, 본 논문의 저자들은 이러한 셀프 - 어텐션 매커니즘이 TSF문제에 있어서 그 적합성과 효과성을 가지는 지에 대해 반론을 제기한다.

그것은 바로 셀프 - 어텐션의 장점인 sementic meaning(의미론적 내지는 어떠한 맥락적인 의미를)을 추출하는 능력이 시계열 데이터에서 큰 효과를 보기 어렵고, 오히려 시계열 데이터의 핵심인 시간, 그 order에 대한 정보를 잃게 된다는 것이다.

저자들은 셀프 - 어텐션이 "permutation- invariant(순열 불변적이고)"하고, “anti-order”(순서에 반한다.)하다고 주장한다.

이는 쉽게 말해서 셀프-어텐션이 그 order나 sequence에 무관하게 동작한다는 것인데, 이는 학습에 있어서 시계열 데이터의 순서정보를 충분히 활용하지 못한다는 것이다.

시계열 분석에서는 타 분야와 달리 데이터의 order, sequence가 그 자체로 매우 중요한 의미를 가진다.

따라서 시계열 분석에서는 그 위치정보를 잃지 않기 위해서 postition을 따로 넣어주는 여러 테크닉을 적용하지만, 본 논문에서는 그러한 positional encoding 전략에도 불구하고 ordering information을 잃게 되는 것은 불가피하다고 말한다.

 

저자들은 이러한 이유로 셀프-어텐션이 시계열 분석에 비해 순서에 큰 영향을 받지 않고 sementic meaning이 풍부한 NLP에서 더 큰 활약을 할 수 있으며 실제로도 그렇게 하고 있다고 말한다. 이와 반대로 시계열 데이터는 언어가 아닌 숫자 그 자체이기 때문에 그 sementic meaning이 부족한 것이 일반적이며, 분석에 있어서 시계열 흐름 그 자체인 order가 매우 중요한 역할을 한다. 

 

이에 저자들은 본 논문의 주제를 관통하는 질문을 던지며 그것에 대한 대답으로 여러 실험들을 제시한다.

"Are Transformers Effective for Time Series Forecasting?"

 

그들의 실험은 매우 흥미로운 결과들을 도출했는데, 그 결과를 통해 내린 결론은 다음과 같다.

"The temporal modeling capabilities of Transformers for time series are exaggerated, at least for the existing LTSF benchmarks"

(적어도 LTSF(장기시계열 예측문제)에 쓰인 벤치마크 데이터들에서 트랜스포머 기반 모델들의 능력은 과장되었다.)

 

*LTSF 벤치마크 데이터: 여러 트랜스포머 변형모델의 성능평가에 쓰인 데이터 (도메인: traffic, energy, economics, weather, disease) 

 

그들의 실험은 다음과 같이 디자인 되었다.

 

- DMS(Direct-Multi-Step)에 집중한다.

그동안 성능을 평가할 때 쓰인 baseline 모델인 ARIMA 등은 한 시점씩 반복하여 예측하는 IMS(Iterated-Multi-Step)방식으로 예측을 수행하는 모델이었다. 그런데, 그러한 IMS 방식은 아무리 작은 오류라고 할 지라도 그것이 축적되어 결국엔 장기 시계열 예측에서의 좋은 성능을 기대하기 어렵다. 이에 본 논문에서 진행된 실험에서는 baseline 모델 또한 트랜스포머 모델들과 마찬가지로 DMS 방식의 예측을 수행하도록 하였다.

 

- 새로운 Baseline 모델로 LTSF-Linear을 적용한다.

LTSF-Linear는 매우 단순하게 하나의 레이어를 배치함으로써 timestep에 따라 회귀를 수행하도록 한 모델이다.

논문에서도 표현하길 이는 단순히 레이어 하나를 가진, 당황스러울 정도로 매우 단순한 모델이다. (A set of embarrassingly simple one-layer linear model)

 

간단하게 요약한 실험의 결과는 다음과 같다.

 

- 매우 단순한 Baseline모델인 LTSF-L 모델이 벤치마크 데이터를 적용한 실험에서 기존 트랜스포머 기반 모델들의 성능을 압도하였다. 

이 놀라운 결과는 모든 도메인과 조정된 파라미터들에서 공통적으로 일어났으며, 심지어 20%~50% 정도로 높은 성능을 보이는 케이스도 존재하였다. 

 

- 트랜스포머 기반 모델들을 제안한 논문에서의 주장과 달리, 대부분의 모델들이 장기시계열에서 temporal relation을 추출하는 데 실패했다.

실험을 진행한 연구자들은 성능을 비교/평가하는 것뿐만 아니라 그들의 효율성, 효과성을 알아볼 수 있도록 다양한 ablation test를 진행하였는데, 그 결과 여러 트랜스포머 기반 모델들은 긍정적인 결과를 얻지 못하였다.

 

그런데 주목할 것은 여기서 제안한 LTSF-L 모델은 그저 성능을 비교하는 Baseline모델에 지나지 않으며, 벤치마크가 아닌 다른 데이터 셋에도 적용을 하면서 더 다양하고 심도있는 시사점을 도출하는 것이 필요하다.

그러나 이 논문에서 진행한 실험들의 결과는 "트랜스포머의 성능과 효율이 과장되었다"라는 주장에 큰 힘을 실어주고 있으며, 어쩌면 지나칠 정도로 과열된 트랜스포머 시계열 연구방향에 의미있는 시사점을 던져주고 있다.

 

2. Preliminaries: TSF Problem Formulation

 

 

TSF를 수식으로 간단하게 표현하면 다음과 같다.

variates(변수 수), C  / window size, L / future time steps, T

 

$$X = [X_{1}^{t},,,X_{C}^{t}]_{t=1}^L$$

$$\hat{X} = [X_{1}^{t},,,X_{C}^{t}]_{t=L+1}^{L+T}$$

여기서 T>1일 때, IMS는 하나씩 반복하며 T까지 예측을 이어나가고, DMS는 한 번에 T까지 예측치를 산출한다.

IMS는 에러가 축적되는 문제가 있기에 상대적으로 안정된 변동이 있는 시계열에서, 혹은 예측 길이인 T가 작을 때 유리하다.

DMS는 반대로 unbiased single-step을 구하기 어려울 때, 혹은 T가 긴 장기 시계열 예측에서 유리하다고 할 수 있다.

 

 

3. Transformer-Based LTSF Solutions

트랜스포머는 self-attention 매커니즘을 통해 기존 모델들에 비해 장기 의존성(long dependene)를 효과적으로 추출할 수 있다는 장점이 있다.

이에 시계열에서 또한 장기 의존성을 효과적으로 추출해야 하는 LTSF에 트랜스포머를 적용하려는 노력이 이어져 왔다.

여러 트랜스포머 기반 시계열 모델 연구들은 vanilla 트랜스포머의 예측성능을 높이는 것과 더불어, quadratic complexity라는 매우 높은 계산 복잡도를 개선하는 것에 집중해왔다.

그 결과, 여러 연구에서 vanilla 트랜스포머의 내부 모듈과 전체 아키테처를 수정한 변형 모델들이 많이 제안되었다. 

여러 변형모델들은 제각기 다른 아이디어를 바탕으로 트랜스포머에 다양한 요소를 적용하였다.

 

1. Time series decomposition

시계열 요소분해는 시계열 분석에 있어서 standard한 방법으로 시계열이 가지는 변동을 분해함으로써 복잡한 변동의 요인들을 알아볼 수 있도록 한다. 

트랜스포머 기반 모델 중에서 "Autoformer"가 처음으로 이 요소분해를 도입하였는데, 그들은 seasonal-trend decomposition 블록을 모듈 내부에 배치하여 시계열의 세부적인 변동들을 더 깊이 파악할 수 있도록 하였다. 

그들은 이동평균(moving averaging) 커널을 통해 변동을 평활화하여 추세 변동을 뽑아낸 뒤, 전체 변동에서 이를 빼서 계절변동을 얻는다. 이러한 요소분해를 통해 각 세부 변동들에 집중하는 방법은 여러 실험을 통해 예측 성능을 올릴 수 있다는 것을 증명하였는데, 최근 "FED-former"에서도 이러한 scheme를 기반으로 다양한 커널 사이즈를 적용하여 성능을 끌어올렸다.

 

2. Input embedding strategies

트랜스포머의 셀프-어텐션 레이어는 그 인풋 시리즈의 위치정보를 고려하지 않고 전체 데이터를 훑는다.

그런데 시계열 데이터에서는 예측을 적용하는 timestamp의 local한 정보가 매우 중요하며, hierarchical timestamps (week, month, year)와 agnostic timestamps (holidays and events)같은 global한 정보들 또한 분석에 있어서 매우 유용하다.

이에 트랜스포머 기반 모델들은 이러한 위치정보들을 보전하기 위해 인풋 임베딩에 있어서 여러가지 방법론을 적용하고 있다.

그 방법들에는 먼저 기본적으로 고정된 위치 정보를 넣어주는 방식인 fixed positional encoding과 channel projection, 학습가능한 레이어를 배치한 임베딩, 나아가 convolution layer를 배치하는 방식 등 매우 다양한 방식으로 인풋 시리즈에 위치정보를 넣어주고 있다.

 

 

 

3. Self-attention schemes

트랜스포머의 핵심인 이 self-attention은 일련의 값들 사이의 sementic한 dependency를 뽑아내는 기능을 한다.

그런데, 이러한 방식은 기본적으로 인풋길이의 2배에 이르는 복잡도를 갖는 부작용이 있다.

이에 많은 연구자들은 그러한 quadratic complexity를 해소하고 효율성을 개선하고자 여러 아이디어를 구체화시켰다.

 

- Introduce Sparsity Bias

LogTrans, Logsparse mask를 통해 셀프 어텐션의 대상을 축소하여 복잡도를 낮췄다.

Pyraformer, 피라미드 형태로 어텐션을 수행하여 계층적으로 multi-scale temporal dependencies를 추출하여 복잡도를 낮췄다.

 

- Introduce the low-rank property

Informer, 중요도가 높은 포인트들을 계산하여 이들을 대상으로 어텐션을 진행하는 ProbSparse self-attention을 도입하였다.

FEDformer, random-selection과 함께, Fourier enhanced block, a wavelet enhanced block을 디자인 하였다.

(#이 논문에서는 이정도로 모델의 매커니즘을 간단히 "소개"만 하고 있습니다. 자세한 내용은 논문을 찾아보시면 좋을 것 같습니다. 차후에 두 논문 또한 리뷰할 예정입니다.)

 

추가로 Autoformer는 기존 self-attention에서의 point-wise를 대체한 series-wise한 방식으로 dependency를 뽑아내는 Auto-Correlation 매커니즘을 디자인 하였다.

 

- Decoders

Vanilla 트랜스포머의 디코더는 겹겹이 쌓인 레이어 층을 지나 autoregressive한 방식으로 아웃풋 값을 하나씩 산출한다.

이러한 IMS 방식은 앞서 언급한대로 오류가 축적되는 문제가 존재하며 속도 또한 느려지는 문제가 있다.

이에 여러 변형 모델들은 IMS가 아닌 DMS 방식으로 LTSF를 다루도록 하였다.

예를 들어, Autoformer는 시계열을 추세와 계절변동으로 분해하고 계절변동의 dependency를 auto-correlation 매커니즘을 통해 뽑아낸 뒤, 마지막 최종 예측에 있어서 추세와 계절변동을 합치는 식으로 미래의 예측값을 한번에 산출한다.

 

 

트랜스포머의 전제는 인풋 시리즈 간의 sementic한 상관관계가 있어야 한다는 것이다.

게다가 그 관계를 뽑아내는 셀프 어텐션은 permutation- invariant(순열불변적)하기 때문에, 인풋에 추가로 넣어준 positional encoding 값에 전적으로 의존하게 된다. 

그런데 우리가 다루는 시계열의 raw 데이터를 생각해본다면 그 데이터들 사이에 어떠한 sementic한 흐름이나 특정 반복되는 문맥을 찾아보기가 어렵다. 또한, 아무리 기술적인 positional encoding을 적용한다고 할 지라도 순서에 상관없이 동작하는 셀프 어텐션은 그 시간적인 정보를 잃게 된다. 

결국 시계열 데이터에서 가장 중요한 속성 내지는 정보는 시계열이 원래 가지고 있던, 데이터가 생성된 order 그 자체라고 할 수 있다.

 

참조)

https://seollane22.tistory.com/20

[Paper Review] Attention Is All You Need(2017) #Transformer

https://seollane22.tistory.com/21

[Paper Review] Transformers in Time Series: A Survey (2022)

 

 

4. An Embarrassingly Simple Baseline

 

이 논문의 저자들은 앞서 논의하고 주장한 쟁점들을 검증하기 위해 여러 실험을 진행하였다.

먼저 저자들은 그동안의 baseline모델들이 IMS에 의한 예측을 수행했기 때문에 LTSF에서 트랜스포머의 성능을 제대로 비교해볼 수 없었다는 가설을 제시하며 DMS 방식을 적용한 실험을 진행할 필요성을 주장한다. (IMS는 LTSF에서 DMS보다 성능이 낮다.)

이에 그들은 새로운 baseline 모델을 제시하는데, 그 구조는 아래에서 확인할 수 있듯이 다른 트랜스포머 모델들에 비해 터무니 없어 보일 정도로 단순하다.

 

모델 아키테처 비교

LTSF

 

새로운 baseline 모델인 LTSF-L은 정달 단순히 레이어를 하나만 배치한 모델이다.

이는 vanilla ANN과 유사한 구조로, 과거 시계열을 통해 직접적으로 미래를 예측하는 간단한 회귀모형이다.

이 모델은 다변량 예측에 있어서 변수간 가중치를 공유(share)할 뿐, 어떠한 spatial correlation(공간적 상관관계)을 모델링하지 않았다.

단, 이 모델을 실생활의 다양한 변동을 포함하는 벤치마크 데이터(에너지, 유동인구, 환율 등)에 적절히 적용하기 위해 이 모델을 전처리 방법에 따라 두 종류로 변형하였다.

 

- DLinear

이 모델은 Decomposition을 이용한다. Decomposition의 매커니즘은 autoformer에서 제안된 것과 같은데, 먼저 raw 데이터를 요소분해를 통해 trend와 reminder(seasonal) 변동으로 분리한다. 이후 각 요소에 레이어를 하나씩 배치하여 각 변동을 따로 학습한 뒤 마지막에 그 결과를 합친다. 이것은 분명한 트렌드가 있을 때 그 성능을 강화할 수 있도록 설계한 것이다. 

 

- NLinear

이 모델은 인풋 시리즈를 그 인풋의 마지막 값으로 모두 빼준다. 그렇게 일종의 차분을 진행한 후 레이어를 통과시키며 마지막 최종 예측단계에서 다시 마지막 값으로 더해주어 아웃풋을 완성한다.이러한 과정은 인풋 시리즈/시퀀스에 대한 간단한 표준화(정규화)이며, 이는 인풋이 데이터 셋 안에서 분포가 급격하게 변하는 지점에 잘 적합하도록 하기 위함이다. 

 

 

5. Experiments

 

 

- Experimental Settings

 

데이터는 실생활의 여러 도메인에서 다양한 변동을 가진 벤치마크 데이터들이다. 이들은 모두 다변량 시계열로 구성되어 있다.

{ETT (Electricity Transformer Temperature)(ETTh1, ETTh2, ETTm1, ETTm2)} / Traffic / Electricity / Weather / ILI / Exchange Rate /  *h=hour, m=minute

 

평가지표는 MAE, MSE를 이용하였다.

 

비교 모델로는 SOTA를 달성했던 트랜스포머 변형 모델들을 이용하였고, baseline 모델로는 LTSF-L 모델과 naive DMS 방법인 "Closest Repeat (Repeat)"을 새롭게 추가하였다. "Closest Repeat (Repeat)"은 look-back window(인풋 시리즈)의 마지막 값을 단순하게 반복하는 나이브한 DMS 방식이다.

*FED-former는 두 가지 변형이 있는데, 그 중 더 좋은 성능을 보이는 FEDformer-f via Fourier transform을 이용하였다.

 

- Comparison with Transformers

 

multivariate forecasting

Quantitative results

 

다변량 예측에 있어서, 놀랍게도 LTSF-Linear 모델이 SOTA의 성능을 보이는 FEDformer보다 더 좋은 성능을 보였다. 그 증가폭은 20%~50%이며 거의 대부분의 상황에서 모두 압도적인 성능을 보였다. (심지어 LTSF-Linear에는 변수간 상관관계를 모델링하지 않았다.)

위 결과는 각자 다양한 변동들을 담고있는 모든 벤치마크 데이터에서 일어난 결과이기 때문에 LTSF-Linear 모델이 distribution shift나 추세, 계절 요소의 특징을 더 잘 포착하고 있다는 것을 의미한다.

이와 마찬가지로, 논문의 appendix에 포함된 단변량 예측에서도 LTSF-Linear 모델이 트랜스포머 모델들의 성능을 뛰어넘는 결과를 보였다.

 

정리하자면, 현존하는 트랜스포머 모델들은 그 성능과 효율을 위해 매우 복잡한 구조로 변형되었지만 위 실험결과는 트랜스포머 모델이 분명한 한계점을 가지고 있음을 보여주고 있다.

 

추가로, 위 실험은 또 하나의 매우 흥미로운 시사점을 제시하고 있다.

Exchange-rate 데이터에서 naive repeat모델이 트랜스포머 모델들의 성능을 무려 45% 정도의 증가폭으로 압도하였다.

이는 여느 경제 지표와 마찬가지로 환율이 seasonal한 변동보다 분명한 trend에 크게 영향을 받는다는 것을 감안했을 때,

트랜스포머 기반 모델들이 큰 trend가 아니라 지엽적인 변동(어쩌면 약한 계절요인 혹은 노이즈)에 과적합 되었다고 볼 수 있다.

 

이는 예측흐름을 시각화한 그래프에서 분명하게 드러났다.

Qualitative results

 

(b)를 보면, 빨간색 실제 값에 비해 다른 트랜스포머 모델들은 전혀 어떠한 추세도 따라가지 못하고 있다. DLinear 또한 완벽하게 실제 변동을 따라잡고 있지는 않지만, 실제와 가장 유사한 추세를 그려냈다. (200에서 250사이의 실제 스파이크를 따라가지 못한 것은 DLinear가 과소적합되었을 가능성 또한 시사하고 있는 것이다.)

마찬가지로 이러한 결과는 비단 (b)뿐만이 아니라 각각 다른 temporal pattern을 보이는 (a),(c)에서도 드러났는데, 트랜스포머 모델들은 실제 변동의 scale과 bias를 전혀 따라잡지 못하고 있었다.

 

 

- More Analyses on LTSF-Transformers

 

논문의 저자들은 앞선 양적, 질적 실험과 더불어 트랜스포머 모델들의 효과성과 효율성을 더 면멸히 검증하고자 추가적인 실험들을 진행하였다. 이들은 각 실험의 주제로서 트랜스포머의 LTSF에 대한 의문을 던지고 그에 대한 결론을 내리는 식으로 이야기를 이어간다.

 

 

1. Can existing LTSF-Transformers extract temporal relations well from longer input sequences?

(현재까지 제안된 트랜스포머가 긴 인풋 시퀀스의 시간적 관계를 잘 추출할 수 있을까?)

 

장기적인 변동을 따라가야 하는 LTSF에서 그 정확도는 Look-Back Window(윈도우)의 사이즈가 매우 결정적인 역할을 한다.

이는 학습에 있어서 얼마나 먼 시점의 정보를 학습할 지를 결정하는데, 강력한 모델은 길게, 많이 배운만큼 LTSF를 잘 수행해야 하는 것이 상식적이다. (먼 시점을 예측하려면 당연히 먼 과거를 학습해야 할 것이다.)

그러한 맥락에서 위 실험결과는 720step을 예측하는 데 있어서 그 Look-Back Window를 조금씩 늘려가며 MSE의 변동을 시각화한 결과이다. 눈에 띄는 결과는 트랜스포머 모델들은 그 Look-Back Window의 크기와 관계없이 일정한 성능을 보였다는 것이다. (Informer는 오히려 먼 과거를 배울수록 성능이 떨어진다.) 그에 반해 LTSF-L모델들은 모두 멀리 배울수록 더 잘 예측한다는 결과가 나왔다.

 

정리하자면

1. 트랜스포머 모델들은 어떠한 시간에 따른 변동을 유연하게 학습하는 것이 아니라 노이즈에 과적합되었다.

2. LTSF-L 모델들은 길게 배울수록 길게 잘 예측한다.

 

 

2. What can be learned for long-term forecasting?

(긴 예측에서 무엇을 학습하는 가)

 

논문의 저자들은 트랜스포머가 long-term의 예측에 있어서 무엇을 학습하는 지, 또 좋은 성능을 위해 무엇을 학습해야 하는 지를 확인하고자 하였다.

위에서 나온 결과 그래프를 살펴보면 트랜스포머 모델들이 윈도우 사이즈와 무관하게 일관된 성능을 보인다는 것을 알 수 있었다.

이에 저자들은 윈도우 사이즈가 단기예측에서 큰 역할을 할 지는 몰라도, "장기예측에 있어서는 윈도우 사이즈가 아닌 어떠한 추세(trend)나 주기(periodicity)를 제대로 파악해야 한다"는 가설을 세웠다.

 

 

그들은 현재 SOTA 트랜스포머들은 FEDformer와 Autoformer를 두고 예측 시점에서 가장 가까운 96 time step을 인풋으로 둔 Close와 그 96시점보다 더 뒤에 있는 96시점을 인풋으로 둔 Far라는 조건을 설정하여 성능을 테스트했다.

그 결과, 두 모델은 그 "인풋, 즉, 윈도우가 어느시점에 있는 지", "최근 값을 반영하는 지 아닌 지(최근의 트렌드를 반영하는 지)" 에 무관하게 어느정도 일관된 성능을 보였다. 실제로 위 결과를 보면 Close와 Far의 차이가 크지 않다는 것을 알 수 있다.

이는 트랜스포머 모델이 시점에 따른 트렌드를 반영하지 않고 그저 윈도우에서 유사한 series만을 뽑아내는 것에 그친다는 것을 시사한다.

저자들은 트랜스포머의 너무 많은 모수가 오히려 과적합을 일으켜 Trend와 Periodicity의 큰 흐름을 잡지 못한다고 이야기한다.

 

3. Are the self-attention scheme effective for LTSF?

(트랜스포머의 셀프-어텐션 구조가 과연 LTSF에서 효과적일까?)

 

이번에는 과연 트랜스포머 모델들이 가지는 셀프-어텐션과 그 복잡한 디자인들이 LTSF에서 효과적인 지, 그것을 검증한다.

이를 위해 저자들은 흥미로운 실험을 디자인하였는데, 그것은 트랜스포머 모델 중 하나인 Informer의 구조를 더욱 간단하게 수정해나가며 예측 성능을 비교한 것이다.

 

왼쪽에서 오른쪽 컬럼으로 갈수록 모델이 더욱 단순해지는데, 두번째 컬럼인 Att.-Linear 형태는 단순히 어텐션 레이어를 Linear 레이어로 대체한 것이고, 그 옆 컬럼은 임베딩 레이어와 Linear 레이어만 남겨두고 FFN 등 다른 디자인은 모두 지워버린 단순한 모델이다.

그리고 정말 놀랍게도 그 결과는 더욱 단순해질수록 더욱 정확해진다고 말한다.

이에 트랜스포머의 핵심이라고 할 수 있는 self - attention 레이어는 물론, 여러 트랜스포머 기반 모델들의 복잡한 디자인은 효과적이지 않다는 결론을 내릴 수 있다.

 

4. Can existing LTSF-Transformers preserve temporal order well?

(과연 트랜스포머가 시간적인 순서를 잘 보전할 수 있을까?)

 

시계열에서 temporal order의 중요성은 설명이 필요없을 정도이다. 

그런데, self-attention은 그 순열 불변적이고 순서와 관계없이 동작하는데, 이에 저자들은 아무리 positional encoding을 통한 임베딩으로 위치정보를 넣어준다고 할 지라도 트랜스포머 기반 모델은 근본적으로 그 temporal information을 잃을 수 밖에 없다고 말한다.

 

위 결과는 트랜스포머 모델들이 그 인풋의 순서와 무관하게 동작하며 temporal order를 잘 보전하지 못한다는 것을 보여준다.

shuf는 인풋 시리즈 전체를 랜덤하게 섞은 것이고, half-ex는 인풋을 절반으로 나누고 그 앞과 뒤를 랜덤하게 바꾼 것을 의미한다.

실험결과를 살펴보면, Exchange 데이터 셋에서 Linear 모델은 원래 가지고 있던 순서가 훼손될 때 꽤 큰 성능 감소를 보였다. 그에 반해 트랜스포머 기반 모델들은 그 성능의 변화가 매우 적었다.

그런데, 더 분명한 주기와 계절적인 변동을 가지는 ETTh1 셋에서는 FED, Autoformer 또한 큰 성능감소를 보였는데, 이는 유사한 주기, 계절변동을 가지는 series를 추출하여 합치는 두 모델의 특성에 따른 결과이다. (데이터를 섞으면 그 주기나 계절성이 완전히 바뀌게 된다.)

 

4. How effective are different embedding strategies?

(각각의 다른 임베딩 전략들은 얼마나 효과가 있을까?)

 

저자들은 트랜스포머 모델들의 공통요소인 position, timestamp embedding들의 효과를 확인하고자 하였다.

 

실험상황은 각 모델에 Embedding을 각각 다르게 적용하여 그 예측 성능을 테스트하는 것으로 디자인했다. 

조건 중 wo는 without의 약자로 position과 timestamp를 각각 제외한 임베딩과 이 둘을 함께 제외한 임베딩으로 구성된다.

Informer는 특히 position이 없는 임베딩에서 그 성능이 크게 떨어졌고, timestamp가 없는 임베딩에서는 그 인풋의 길이가 길어질수록 점진적으로 성능이 감소하였다. 논문에서는 이 결과를 두고 Informer가 하나의 time step을 하나의 토큰으로 이용하기 때문에 그 temporal한 정보를 넣어주는 것이 필수인 것에 기인한 결과라고 언급한다.

반면 FED, Autoformer는 모두 하나의 time step이 아닌 일련의 timestemp를 입력하기 때문에 postition 정보가 없어도 성능의 변화가 크게 떨어지지 않았다. 

 

5. Is training data size a limiting factor for existing LTSF- Transformers?

(학습 데이터의 크기가 정말로 트랜스포머의 LTSF의 한계점일까?)

 

혹자는 트랜스포머 기반 모델들의 낮은 성능은 학습 데이터의 크기가 충분히 크지 않기 때문이라고 말한다.

사실 학습데이터의 크기는 당연히 학습을 통한 예측 성능에 큰 영향을 미치는 것이 사실이다.

그러나 NLP와 CV 분야와 달리 시계열 문제는 그 시간에 따른 일련의 기록이기 때문에 이를 늘리는 것은 매우 제한적이다.

 

이에 저자들은 위와 같은 실험을 통해 traffic 데이터의 크기를 달리하여 예측 성능을 비교하였다.

먼저, ori는 기존 traffic 데이터의 full set으로, 총 17,544개의 timestep(hour)을 가졌다. 반면, 대조군인 short는 전체 timestep을 1년의 시간인 8,760으로 줄였다.

그 결과는 인상적이게도 오히려 timestep을 줄인 short가 더 좋은 성능을 보였다. 논문에서는 이 결과가 1년치 데이터가 더 분명한 패턴 등의 특징들을 가졌기 때문이라고 보았다. 이에 저자들은 적은 데이터를 학습시키는게 오히려 더 좋다는 결론을 내리는 것이 아니라 적어도 LTSF에서 데이터의 크기가 모델의 성능을 제한하는 요소는 아니라고 결론을 내린다.

 

 

6. Is efficiency really a top-level priority?

(정말로 "효율성"이 가장 높은 우선순위인 것이 맞는가?)

 

이는 마지막 실험으로 그동안의 트랜스포머 변형 모델들이 정말로 효율성을 개선했는 지를 검증한다.

변형 모델들은 vanilla transformer의 quadratic complexity를 개선해야 한다고 주장하면서 여러 아이디어를 적용해왔다.

이에 여러 모델이 이론적으로 그 시간, 메모리의 복잡도를 개선한 것을 증명하였는데, 과연 실제로 분명하게 이러한 개선이 이루어지는 지를 확인할 필요가 있다.

 

1. 실제로 그 이론적인 시간과 메모리 효율성이 구현되는가

2. 성능이 크게 좋아진 오늘날의 GPU에서 그 메모리 복잡도가 정말 중요한 이슈인가

 

위 결과에 따라 앞선 두 가지 의문에 대한 답은 다음과 같다.

 

1. 실제로 트랜스포머 기반 모델들은 시간, 효율성 측면에서 큰 개선을 이루지 못한다. Vanilla Transformer인 "TransformerX"와 다른 모델들의 결과를 비교해보면 큰 차이를 관측할 수 없으며 오히려 더 큰 복잡도를 가지는 것이 관찰된다. 즉, 여러 변형 모델들이 도입한 추가적인 디자인 요소들이 오히려 더 큰 비용을 치루고 있음을 알 수 있다.

2. 여러 우려와 달리 Vanilla Transformer의 메모리 복잡도는 수용가능한 정도이다. 이는 실제로 가장 긴 인풋인 720개의 스텝에서도 수용가능한 정도였다. 

 

 

- 마치며

 

한창 트랜스포머 변형모델을 살펴보고 있는 상황에서 이 논문은 정말 신선한 충격으로 다가왔다.

사실 트랜스포머가 다른 분야에서 너무나도 좋은 성능을 보이고 있기 때문에 시계열에서도 그러한 기대를 받은 것은 당연했다.

실제로도 트랜스포머는 RNN과 달리 LTSF라는 매우 어려웠던 문제를 잘 풀어냈고, 그 한계점 또한 여러 아이디어들이 적용되면서 점차 진화하는 모습을 보여주고 있었다. 또한 초반과 달리 점차 연구가 진행될수록 트랜스포머가 시계열 분석에 맞는 모습으로 개조되는 흐름을 살펴보는 것이 정말 흥미로웠다.

하지만 여러 변형모델의 구조를 살펴보면서 공통적으로 느낀 것은 모델의 구조가 많이 복잡하다는 것이었다. 무언가 문제해결을 위해 정돈되고 분명한 해법을 내놓는 것이 아니라(당연히 이게 가장 어렵지만...) 여러 아이디어들을 그저 하나씩 얹어나가는 느낌이 들었다.

결국에 이 논문은 어쩌면 조금 과열된 트랜스포머 연구에 refresh를 주는 역할을 하지않을까 싶다.

앞으로 트랜스포머의 효율, 효과를 개선해나가는 것도 중요하지만 결국에는 어떠한 특정 도메인의 시계열 데이터가 가지는 특징, 우리가 해결하고자 하는 문제의 본질, 이것에 더욱 집중해본다면 좋을 것 같다는 생각이 들었다.

이 실험결과들은 앞으로 트랜스포머 모델들을 개조하는 데 있어서 좋은 시사점을 제공해주고 있으며 나아가 "시계열 Forecastiong"이라는문제를 효과적으로 수행하는 데 있어서 그 방향을 재설정 해줄 수 있을 것 같다.

 

 

원문

https://arxiv.org/abs/2205.13504

Are Transformers Effective for Time Series Forecasting?