Introduction 다변량 시계열은 여러 요인, 변수(variable)의 변동을 포함하는 시계열을 의미한다. 이러한 다변량 시계열은 실생활의 여러 도메인(응용분야)에 시계열 분석을 적용하는 데 있어서 매우 핵심적인 task가 되어왔다. 다변량 시계열의 핵심은 시계열 변동이 과거 값에 영향을 받는 것뿐만 아니라 변수들 사이의 상호작용에도 의존(dependent)한다는 것이다. 따라서 이를 모델링하는 것은 그러한 두 영향을 밝혀는 것이 중요한데, 구체적으로 1) 하나의 시계열이 가지는 local한 패턴과 global한 변동을 포착하는 것과, 2) 여러 변수 사이의 연관관계(inter-dependency)를 포착하는 것이 핵심이다. 한편 Deep한 neural network를 가진 딥러닝 모델은 매우 복잡..

1. RNN(Recurrent Neural Network) RNN(Recurrent Neural Network)은 순서를 가진 데이터를 처리하는 데 쓰이는 딥러닝 모델이다. 이 모델의 아키테처는 이름에서 알 수 있듯이 recurrent한(재현하는) 방식으로 인풋을 처리하도록 디자인되었다. 위 그림에서처럼 이 모델은 인풋을 순서대로 받아 처리하는데, 그 과정에서 은닉층인 h에 가중치를 부여하여 다음 순서로 넘겨준다는 것이 특징이다. 즉, 결과를 산출하는 데 있어서 인풋의 연산정보를 계속해서 전달하며 업데이트를 해 나가는 것이다. 이러한 특징은 순서에 따라 의미를 가지는 자연어나 시계열 데이터의 처리에 적합하기 때문에 RNN은 그 작업들을 처리하는 딥러닝 모델로 널리 이용되었다. 1-1) RNN의 치명적인 ..

*시작하기에 앞서, 기본 트랜스포머의 구조와 그 변형들에 대한 배경지식이 있는 분들은 이 논문의 실험만 살펴보셔도 무방합니다. 1. Introduction 시계열 예측(Time Series Forecasting)은 실생활의 다양한 도메인에서 널리 응용되고 있다. 지난 세월동안 이러한 TSF에 있어서 ARIMA와 같은 전통적인 통계 모형, GBRT와 같은 머신러닝, RNN 기반/CNN 기반 알고리즘과 같은 딥러닝 알고리즘이 적용되어 왔다. 그런데 비교적 최근에 등장한 딥러닝 모델인 "트랜스포머"는 sequential task에서 매우 훌륭한 성능을 바탕으로 NLP, CV 분야에서 다른 알고리즘들을 압도하고 있는데, 이에 따라 같은 sequential task인 시계열 분석 분야에도 이러한 트랜스포머를 적용..

1. Introduction 시계열 분석, 특히 예측 문제(Forecasting)는 애너지 소비, 트래픽, 경제지표, 날씨, 질병 등 다양한 도메인에서 활용되고 있다. 실생활의 여러 응용분야에 있어서 때로는 시계열 예측의 범위를 더 크게, 멀리 확대할 필요성이 있는데, 이는 결국 장기 시계열을 다루는 문제와 직결될 수 밖에 없다. 이러한 상황에서 "트랜스포머"는 long-range dependence"문제, 즉, 장기 의존성 문제를 self-attention 매커니즘을 통해 해결하여 이러한 요구를 충족하였고, 실제로 많은 트랜스포머 기반 모델들이 여러 연구에서 큰 진전을 이루어냈다. 그런데, 그러한 연구성과에도 불구하고 long-term 기반의 예측 문제는 여전히 매우 어려운 일로 남아있다. 본 논문에서..

이 논문은 시계열 분석에 트랜스포머를 적용해온 연구들을 정리한 논문이다. 시계열 분석은 NLP와 함께 sequential task의 대표적인 분야 중 하나로, 금융, 제조업, 마케팅 등 다양한 비즈니스 도메인에 응용되고 있는 분석 방법론이다. 2017년 트랜스포머의 등장 이후, NLP 분야에서 트랜스포머 알고리즘이 큰 성공을 이뤄나가면서 같은 sequential task인 시계열 분석에서도 이를 적용하려는 움직임이 일어났다. 특히 트랜스포머는 장기 종속성(long dependece)문제를 해결하여 긴 sequence에서 좋은 성능을 보인다는 것이 입증되었기 때문에, 시계열 분석에서도 장기 시계열을 효과적으로 학습할 수 있는 대안으로 주목을 받았다. 그러나 기본적인 트랜스포머 역시 여러가지 한계점이 존재했..

"Attention is all you need", 이 논문은 기존 seq to seq 모델의 한계점을 보완하고 성능을 크게 개선한 Transformer 모델의 등장을 알린 기념비적인 논문이다. 현재 NLP와 같이 seq to seq 형태의 데이터를 처리하는 태스크에서는 트랜스포머가 주류를 차지하고 있으며, 시계열 분석에서도 그 활용성을 높이려는 연구가 활발하게 진행되고 있다. 즉, 새로운 논문에서 제시되는 "State of the art"(sota)모델들의 대부분이 이 트랜스포머에 바탕을 두고 있는 것이다. 때문에 결국 이 논문에서 제시한 Attention 알고리즘과 트랜스포머 모델을 제대로 이해하는 것은 최신 트렌드를 이해하고 더 나아가 새로운 연구 기회를 포착하는 데 있어서 매우 중요한 첫 걸음일 ..