1. Introduction 시계열 분석, 특히 예측 문제(Forecasting)는 애너지 소비, 트래픽, 경제지표, 날씨, 질병 등 다양한 도메인에서 활용되고 있다. 실생활의 여러 응용분야에 있어서 때로는 시계열 예측의 범위를 더 크게, 멀리 확대할 필요성이 있는데, 이는 결국 장기 시계열을 다루는 문제와 직결될 수 밖에 없다. 이러한 상황에서 "트랜스포머"는 long-range dependence"문제, 즉, 장기 의존성 문제를 self-attention 매커니즘을 통해 해결하여 이러한 요구를 충족하였고, 실제로 많은 트랜스포머 기반 모델들이 여러 연구에서 큰 진전을 이루어냈다. 그런데, 그러한 연구성과에도 불구하고 long-term 기반의 예측 문제는 여전히 매우 어려운 일로 남아있다. 본 논문에서..

"Attention is all you need", 이 논문은 기존 seq to seq 모델의 한계점을 보완하고 성능을 크게 개선한 Transformer 모델의 등장을 알린 기념비적인 논문이다. 현재 NLP와 같이 seq to seq 형태의 데이터를 처리하는 태스크에서는 트랜스포머가 주류를 차지하고 있으며, 시계열 분석에서도 그 활용성을 높이려는 연구가 활발하게 진행되고 있다. 즉, 새로운 논문에서 제시되는 "State of the art"(sota)모델들의 대부분이 이 트랜스포머에 바탕을 두고 있는 것이다. 때문에 결국 이 논문에서 제시한 Attention 알고리즘과 트랜스포머 모델을 제대로 이해하는 것은 최신 트렌드를 이해하고 더 나아가 새로운 연구 기회를 포착하는 데 있어서 매우 중요한 첫 걸음일 ..