RNN, LSTM(Long Short-Term Memory)

1. RNN(Recurrent Neural Network) 

 

RNN(Recurrent Neural Network)은 순서를 가진 데이터를 처리하는 데 쓰이는 딥러닝 모델이다.

이 모델의 아키테처는 이름에서 알 수 있듯이 recurrent한(재현하는) 방식으로 인풋을 처리하도록 디자인되었다. 

 

출처) 구글 이미지

 

위 그림에서처럼 이 모델은 인풋을 순서대로 받아 처리하는데, 그 과정에서 은닉층인 h에 가중치를 부여하여 다음 순서로 넘겨준다는 것이 특징이다. 즉, 결과를 산출하는 데 있어서 인풋의 연산정보를 계속해서 전달하며 업데이트를 해 나가는 것이다. 

이러한 특징은 순서에 따라 의미를 가지는 자연어나 시계열 데이터의 처리에 적합하기 때문에 RNN은 그 작업들을 처리하는 딥러닝 모델로 널리 이용되었다.

 

1-1) RNN의 치명적인 한계

 

RNN은 다른 딥러닝 모델과 달리, 순서(sequence)를 반영하여 데이터를 효과적으로 처리할 수 있다.

그러나, 인풋의 순서가 장기적으로 이어질 때, 즉, 모델의 크기가 커질 때, 그러한 효과가 크게 떨어지는 문제가 있다.

 

https://www.google.com/url?sa=i&url=https%3A%2F%2Fissc.science.lsst.org%2F%3Fq%3Dvideos&psig=AOvVaw0jaFLueZqwpvmUYUMOPKRh&ust=1680804320123000&source=images&cd=vfe&ved=0CBIQjhxqGAoTCNCS7ZOqk_4CFQAAAAAdAAAAABDoBg

 

그러한 문제를 "장기 의존성 문제(long-term dependency)"라고 한다.

장기 의존성 문제는 가중치를 업데이트하는 딥러닝의 핵심 과정인 오차 역전파 과정에서 발생한다.

인풋이 길어진다는 것은 그만큼 모델이 커지고 그 구조가 깊어진다는 것을 의미하는데, 이는 역전파의 가중치를 업데이트하는 연산이 더 길어지는 것을 의미하기도 한다.

문제는 가중치를 업데이트 하기 위해 활성화 함수의 미분값(보통 rnn에서는 tanh를 이용)을 곱해주는데 그것이 1보다 작다는 것이다. 따라서 1보다 작은 값을 계속 곱해주니 그 영향력은 희미해지고 결국 먼 시점일수록 그 영향력을 제대로 반영하지 못하게 되는 것이다.   

순서에 따라 의미와 그 맥락이 생성되는 sequential한 문제에서 어느 한 포인트의 문맥을 제대로 짚어내지 못한다면 이는 치명적인 문제일 수 밖에 없다.

실제로 시계열 분석에 있어서 "장기 시계열 예측 문제"를 다룰 때 RNN은 그 예측 정확도가 크게 떨어진다.

 

2. LSTM(Long Short-Term Memory)

 

기본 RNN(바닐라 RNN)은 위에서 언급한대로 그 매커니즘상 장기 의존성 문제라는 단점을 안고있다. 따라서 이는 단기에서 여전히 좋은 성능을 보일 수 있지만, 인풋이 길어지는 장기 시점에는 그 성능이 크게 떨어질 위험이 있다.

따라서 그러한 문제를 해결하기 위해 기본 RNN의 구조를 바탕으로 내부의 "네트워크"를 수정하여 과거 내지는 먼 시점의 정보를 효과적으로 살리려는 아이디어를 통해 LSTM이라는 모델이 제안되었다.

 

LSTM 모델은 RNN의 한계점인 장기 의존성(long dependemcy) 문제를 풀어낸 딥러닝 모델로, 오늘날에도 여전히 시계열 분석의 대표적인 솔루션으로 이용되고 있다.

 

 

2-1) LSTM 네트워크

 

 

위 그림은 기본 RNN 구조에 여러 네트워크를 추가한 LSTM 모델의 정보흐름을 보여준다.

이 중 한 블록의 기능을 확대하면 다음과 같다.

 

https://wikidocs.net/22888

 

LSTM 네트워크의 핵심은 바로 "정보 흐름의 제어"이다.

이 네트워크의 목적은 필요한 정보를 효과적으로 기억하고, 이를 결과값에 반영하기 위해 정보의 흐름을 통제하는 것이다.

그러한 역할을 하는 핵심 요소들은 다음과 같다. 

 

*C(셀 상태), h(은닉 상태), F(망각 게이트), I(입력 게이트), O(출력 게이트)

*활성화 함수: σ(시그모이드, 0~1의 결과값 산출), tanh(하이퍼볼릭 탄젠트, -1~1의 결과값 산출) 

 

1. Cell State (C)

https://wikidocs.net/22888

 

이는 말 그대로 셀의 상태를 의미하는 것으로, 은닉층들을 통과하는 "정보 흐름의 상태"라고 이해할 수 있다.

셀 상태는 아래에서 설명할 여러 Gate들의 결과값과 연산되어 결과적으로 한 은닉층의 결과값을 만드는 데 쓰인다.

위 그림에서처럼 C는 은닉층의 연산에 따라 여러 값이 곱해지고 더해져 t의 흐름에 따라 그 상태가 바뀐다.

이렇게 t를 따라 은닉층들을 통과하는 C를 global C라고도 한다. 반면에 local C는 특정 시점에서의 은닉층이 만들어내는 결과값이다.

 

global C가 거치는 흐름을 요약하면 다음과 같다.

* 가중치: 과거의 h와 현재의 인풋 x를 받아 시그모이드 함수를 통과한 값(0~1), 과거 은닉상태와 현재 인풋의 영향력을 조합한 값

 

- 망각 게이트에서 만든 가중치에 의해 이전 C, 즉 C_t-1의 영향력을 결정한다.(잊어버릴 지, 아님 기억할 지)

- 인풋 게이트에서 만든 local C와 그 가중치를 곱한 값과 더해진다.

- 인풋 게이트의 값과 더해진 global C는 출력 게이트를 통과하며 가중치가 곱해져 그 시점의 은닉층의 상태인 h_t를 산출한다.

 

이 과정을 이해하기 위해 또 다른 핵심 아이디어인 여러 Gate들을 이해해야 한다.

 

2. Forget Gate (F)

https://wikidocs.net/22888

 

이는 이름처럼 불필요한 정보를 지워주는 역할을 한다.

결론적으로 말하면 이 게이트의 역할은 이전 셀 상태인 C_t-1의 영향력을 잊어버릴 지, 기억할 지를 결정하는 것이다. 

구체적으로 이 게이트는 과거의 h와 현재의 인풋 x를 받아 "시그모이드"함수에 통과시키는데, 이후 그 결과값을 이전 셀 상태(C_t-1)에 대한 과거 h, 현재 x의 가중치로써 곱해준다.

시그모이드 함수는 0에서 1 사이의 결과값을 산출하기 때문에 0에 가까우면 C_t-1을 잊어버리는 것이고, 1에 가까우면 기억하는 의미를 가진다.

 

3. Input Gate (I)

https://wikidocs.net/22888

 

입력 게이트는 새로운 정보를 얼마나 셀 상태(C)에 반영할 지를 결정하는 역할을 한다.

이는 망각 게이트와 마찬가지로 과거의 h와 새로운 인풋 x를 받아 Local C(위 그림에서 g)를 생성하고, 이를 얼마나 C에 반영할 지 결정하는 것이다.

구체적으로 과거의 h와 새로운 인풋 x, 두 인풋은 하이퍼볼릭 탄젠트 함수(tanh)와 시그모이드 함수(σ)를 모두 통과하는데, tanh는 현재 내부 네트워크에 대한 셀 상태인 local C를 만들고, σ는 그 local C를 global C에 얼마나 반영할 지를 결정한다.

즉, σ(시그모이드)는 여기서도 어떠한 가중치를 만들어내는 역할을 하고 있는 것이다.

 

4. Output Gate (O)

https://wikidocs.net/22888

 

출력 게이트는 C(셀 상태)를 받아와 한 은닉층의 출력인 h(은닉상태)를 출력하는 역할을 한다. 

이는 입력 게이트들을 통해 만들어진 global C를 받아오고, 마찬가지로 과거의 h와 새로운 인풋 x를 받아 가중치를 만든다.

구체적으로 셀 상태의 값이 하이퍼볼릭 탄젠트 함수를 지나오고, 과거의 h와 새로운 인풋 x가 시그모이드 함수를 통과하며 가중치를 만든다.

이 두 함수의 결과값들을 곱한 값이 현 시점 t에서의 은닉층의 결과인 은닉상태 h_t이다.

이 은닉상태는 출력층과 다음 시점의 은닉층으로 넘겨진다.