[Paper Review] Attention Is All You Need(2017) #Transformer

"Attention is all you need", 이 논문은 기존 seq to seq 모델의 한계점을 보완하고 성능을 크게 개선한 Transformer 모델의 등장을 알린 기념비적인 논문이다.

현재 NLP와 같이 seq to seq 형태의 데이터를 처리하는 태스크에서는 트랜스포머가 주류를 차지하고 있으며, 시계열 분석에서도 그 활용성을 높이려는 연구가 활발하게 진행되고 있다.

즉, 새로운 논문에서 제시되는 "State of the art"(sota)모델들의 대부분이 이 트랜스포머에 바탕을 두고 있는 것이다.

때문에 결국 이 논문에서 제시한 Attention 알고리즘과 트랜스포머 모델을 제대로 이해하는 것은 최신 트렌드를 이해하고 더 나아가 새로운 연구 기회를 포착하는 데 있어서 매우 중요한 첫 걸음일 것이다.

 

 

Introduction

 

이 논문이 발표된 당시에는 RNN기반의 LSTM, GRU가 자연어 번역과 같은 Sequential data(순차 데이터)를 처리하는 태스크의 주된 모델이었으며 sota알고리즘들의 밑바탕이었다.

그런데 RNN 기반의 모델들은 "메모리, 속도 차원의 비효율성"과 "장기 의존성에 의한 성능 저하"라는 치명적인 단점이 존재한다.

recurrent 모형, 출처)위키미디아

RNN(Recurrent Neural Network) 기반의 Recurrent(순환) 모델은 위와 같이 인풋과 아웃풋의 포지션에 따라 순차적으로 데이터를 투입하여 차례대로 학습한다. 즉, 입력층에 인풋을 집어넣는 것과 은닉층 Hidden state의 연산 또한 계속 순차적으로 전달되며 최종 아웃풋을 산출하는 것이다. 이러한 과정은 인풋이 길수록 계산과정에서 메모리에 제약이 생기며 속도 또한 저하된다.

 

이러한 순환 모델은 멀리 떨어진 시점의 데이터의 종속성을 잃어 성능이 저하되는 문제점 또한 안고있다. 이것이 바로 "장기 종속성" 문제로, 특히 긴 인풋에서 순차적으로 계산이 이어질 때, 멀리 떨어진 시점의 데이터의 영향력을 잃게 되는 것이다. 게다가 기본 RNN 모형 같은 경우는 구조상 한계점인 기울기 소멸 문제 또한 안고있다.

 

이에 이러한 한계점을 보완하려는 여러 연구들이 진행되었고 일부 계산 효율성을 향상시키는 결과를 얻었으나 순차적인 계산의 근본적인 제약은 여전히 남아있는 것이 현실이었다. 마찬가지로 "Attention"(= 어텐션)알고리즘을 통해 긴 인풋, 장기간의 시점을 다루는 데이터를 처리하는 것에 있어서 장기 종속성 문제를 해결했지만, 여전히 RNN 기반의 아키테처와 함께 이용된 것이 대부분이었다.

 

이에 이 논문의 저자들은 기존의 recurrent한 아키테처를 제거하고 "attention"에 전적으로 의존하는 transformer(이하 트랜스포머)를 제안한다.

트랜스포머는 전역적인 dependence를 뽑아내고, 더 많은 병렬화를 가능하게 함으로써 더 나은 최신(sota)성능을 달성하였다.

 

Background

 

순차적 계산(sequential computation)을 줄이려는 연구는 CNN을 기본 구조로 둔 Extended Neural GPU, ByteNet, ConvS2S에서도 존재했다. 이들은 인풋, 아웃풋의 포지션에 대해 은닉층의 상태를 병렬적으로 계산하는데, 인풋과 아웃풋을 연관시키는 데에 필요한 작업의 수가 포지션 사이의 거리만큼 증가한다. (선형적 for ConvS2S and 로그적 for ByteNe)

이러한 특징은 떨어진 포지션 사이에 의존성 내지는 어떠한 관계를 파악하는 데 어려움을 준다.

 

따라서 새로 제안하는 트랜스포머는, averaging attention-weighted positions으로 인해 효과성이 감소하는 대가를 치르지만, Multi-Head 어텐션으로 이를 보완하며 작업의 수를 일정한 수로 감소시켰다.

 

 

Model Architecture

 

 

 

본격적으로 트랜스포머의 아키테처를 설명하기에 앞서, 논문에서 지정한 하이퍼 파라미터를 먼저 정리하면 다음과 같다.

 

 

1.입력과 출력의 차원 d_model = 512

2.인코더와 디코더의 수(layer) = 6

3.어텐션 헤드의 수(num_head) = 8

4.FFN(Feed Forward Network) 은닉층의 크기 = 2048

 

 

대부분의 경쟁력있는 neural sequential 변환기가 인코더 - 디코더 구조로 되어있듯이, 트랜스포머 또한 인코더 - 디코더로 연결된다.

또한 각 모듈은 내부에 셀프 어텐션과 fully-connected-layer라는 sub-layer들로 구성되어있다.

기본적으로 인풋인 x의 sequence를 맵핑하여(self-attention) context vactor를 생성하고, 디코더는 그것을 추가적인 인풋으로 받아 아웃풋을 생성하는 구조이다.

논문에서 제시한 트랜스포머의 구조를 살펴보면 다음과 같다.

 

- 인코더 & 디코더

 

먼저 "인코더"는 6개의 동일한 layer(이하 레이어)가 중첩되어 있는 구조(N=6, 하이퍼 파라미터)이다.

각 레이어는 2개의 하위 레이어가 있는데, 첫 번째가 self-attention 매커니즘이고 두 번째가 완전 연결된 순방향 신경망(feed-forward network)이다. 즉, self-attention 레이어와 feed-forward 레이어가 연결된 큰 블록, 모듈 6개가 중첩된 구조라고 볼 수 있다.

 

한편, 각 하위 레이어들의 아웃풋은 잔차 연결(residual-connection)과 층 정규화(layer normalization)을 거친다.

저자들은 잔차연결을 용이하게 하기 위해, 임베딩 레이어를 포함한 모든 하위 레이어들이 생성하는 아웃풋의 차원을 512로 설정했다.

 

정리하자면, 인코더 구조의 중요한 요소는 다음과 같다.

 

- self-attention layer(sub-layer)

- feed-foward network layer(sub-layer)

- residual - connection

- layer normalization

 

"디코더"는 인코더와 마찬가지로 6개의 동일한 layer(이하 레이어)가 중첩되어 있는 구조(N=6)이다.

그러나 디코더는, 인코더와 같은 2개의 하위 레이어 뿐만 아니라, 인코더의 최종 결과값과 encorder-decorder attention(not self, multi-head attention)을 수행하는 하위 레이어를 추가한 구조를 가지고 있다.

또한 인코더와 마찬가지로 각 하위 레이어들은 잔차 연결 이후에 층 정규화를 수행하여 아웃풋을 산출한다.

 

그런데, 여기서 주목해야 하는 것은 self-attention을 수행하는 하위 레이어가 masked self-attention이라는 것이다.

masked는 지웠다는 의미를 가지므로 이는 몇몇의 값을 지우고 어텐션을 수행한다는 것을 의미한다.

왜냐하면 디코더에서 처음 진행하는 masked self-attention이후, 인코더의 아웃풋과 multi-head-attention을 진행할 때, t시점의 값을 예측하는 데 있어서 그 이전의 값만 참조하기 위해서이다.

 

이러한 디코더의 첫 번째 어텐션은 마스킹(masking)을 제외하고, self-attention과 multi-head attention이라는 점은 동일하다.

정리하자면 디코더의 중요한 요소는 다음과 같다.

 

- masked self-attention layer(sub-layer)

- feed-foward network layer(sub-layer)

- encorder - decorder attention

- residual - connection

- layer normalization

 

Attention

 

 

어텐션 알고리즘은 Q(Query, 쿼리), K(Key, 키), V(Value, 값) 세 개의 인풋을 받는데, 그 기능을 풀어서 설명하자면 다음과 같다.

어텐션은 쿼리와 키의 유사도를 구하고, 이를 가중치로써 값에 반영하며, 이를 가중합하여 attention value를 산출한다.

즉, 인풋의 문맥을 파악하여 그것을 가중치로 하여 대상이 되는 값에 반영해주는 것이다. (여기서 Q,K,V는 입력 문장의 모든 단어 벡터들이다.)

 

앞서 계속 언급했던 attention들을 정리하면, 트랜스포머 아키테처에서 수행되는 어텐션은 총 세 가지로 분류할 수 있다.

출처) https://wikidocs.net/31379

 

1. Encoder self-attention (Q=K=V)

2. Masked decoder self-attention (Q=K=V)

3. Encoder - Decoder attention (Q(decoder), K(encoder) = V(encoder))

 

이들은 모두 multi-head attention(멀티헤드 어텐션)이라는 공통점이 있다. 또한 1번과 2번 어텐션은 쿼리, 키, 값이 모두 같기 때문에 self 어텐션이라는 이름이 명명되었다. 3번 어텐션 같은 경우는 디코더와 인코더의 어텐션으로 셀프 어텐션이 아니라는 것을 주의해야 한다.

위 그림을 따라 전체 과정을 조금 인문학적으로 풀어 설명한다면, 인풋들과 아웃풋들 스스로의 유사도를 구한 뒤에 인풋과 아웃풋을 맵핑시켜 그 유사도를 통해 결과를 예측하는 과정이라고 볼 수 있다.

 

다음으로 이 논문에서는 트랜스포머에 쓰이는 어텐션을 조금 더 자세히 설명하고 있다.

 

 

Scaled Dot-Product Attention

 

Scaled Dot-Product Attention은 Q와 K(transpose)의 내적(dot-product) 값을 구하고, 이를 소프트맥스 함수에 넣어 가중치를 만든 뒤 V와 곱하여 attention value를 구하는 것을 말한다. 이를 수식으로 쓰면 다음과 같은 식으로 표현할 수 있다.

흔히 쓰이는 어텐션은 크게 additive(합) attention과 multiplicative(곱) attention으로 나뉘는데 여기서 쓰이는 어텐션은 후자에 해당한다.

그런데, 이 트랜스포머의 dot-product attention은 scaled라는 점에서 차이가 있다. 여기에 쓰인 어텐션은 Q와 K의 내적에 하이퍼 파라미터 값인 K 벡터 차원의 제곱근으로 나눠주어 스케일링을 수행한다.

논문에서 저자는 k 벡터의 차원이 클 때, dot-product의 규모가 커지면, 소프트맥스 함수의 gredient가 매우 작아지는 문제가 있을 것이라고 언급한다. 따라서 여전히 더 빠르고 공간 효율적인 dot-product를 이용하되, 예상되는 문제를 방지하고자 스케일링을 추가한 것이다.

 

Multi-Head Attention

 

트랜스포머를 이루는 어텐션 모듈의 또 다른 특징은 "Multi-head(멀티헤드)"이다.

논문의 저자들은 한 번의 어텐션을 수행하는 것보다 병렬적인 어텐션이 더 효과적이라는 것을 발견하였다.

이에 헤드의 수를 결정하는 하이퍼 파라미터인 num_head를 설정하고 그 만큼의 병렬 계산을 수행하는데, 논문에서는 이를 8로 설정하였다. 

출처) https://wikidocs.net/31379

 

위와 같이 어텐션은 문장 행렬에 Q,K,V 각각의 가중치를 곱하여 Q,K,V 각각의 벡터를 뽑아낸 뒤 scaled dot-attention을 수행하여 attention value를 얻어낸다. 그런데 mulit-head는 이러한 과정을 한번으로 그치는 것이 아니라 num_head만큼 병렬적으로 수행한다.

여기서 주목해야 하는 것은 각 head에 이용되는 가중치가 서로 다르다는 것이다. (그림에서 w0,w1)

이렇게 서로 다른 가중치를 학습함으로써 여러 시각의 정보를 골고루 학습할 수 있는데, 이것이 multi-head(멀티헤드)가 가지는 장점이 된다.

 

 

위의 수식이 바로 멀티헤드 어텐션의 수식이다. 최종적으로 각 head에 구해진 attention value를 연결(concat)하여 또 다른 가중치 행렬을 곱해 최종 결과물을 산출한다. 이것이 바로 한 attention 의 최종 결과물이 된다.

 

* 논문에서 쓰인 구체적인 하이퍼 파라미터들(입출력 벡터의 차원, Q/K/V의 차원, 헤드의 수)은 논문을 참조하기 바랍니다.

 

Position-wise Feed-Forward Networks

 

트랜스포머의 인코더, 디코더 속의 하위 레이어에는 어텐션 레이어 이외에도 완전 연결된 순방향 신경망(feed-forward network)이 포함된다.

신경망의 연산은 인풋 벡터 x와 가중치 행렬의 선형결합으로 표현할 수 있듯이, 순방향 신경망(FFN)은 다음과 같은 수식으로 표현할 수 있다.

 

FFN은 어텐션 레이어 다음으로 연결되므로 여기서 x는 위에서 설명한 멀티헤드 어텐션의 최종 산출물 행렬이다.

출처) https://wikidocs.net/31379

 

위와 같이 x는 한 번의 선형결합 이후 활성화 함수(activation function)을 지나 다시 한 번 선형결합된다.

그런데, 여기서 매개변수들인 각 w와 b는 하나의 layer 안(인코더, 디코더 블록)에서는 같지만 layer마다 다 다른 값을 가진다.

(인코더와 디코더는 하나의 layer로, Attention,FFN이라는 sub_layer을 가진다.)

 

논문에서는 FFN의 은닉층의 크기를 2048로 설정했다. 

 

Embeddings and Softmax

 

다른 변환기와 마찬가지로, 트랜스포머 또한 input과 ouput token의 차원을 앞서 설정한 d_model(인코더, 디코더 모듈에 들어가는 인풋의 차원)로 변환해주는 embedding layer를 가진다. 

또한 트랜스포머는 디코더의 아웃풋을 소프트맥스 함수를 통해 다음 token의 확률을 예측하기 전, 그 차원을 다시 token의 원래 차원으로 돌려주는 pre-softmax layer가 존재한다고 한다. 즉, 설정한 차원을 통해 결과값을 산출한 뒤, 소프트맥스 함수를 통과하기 전에 다시 선형결합을 통해 원래 차원으로 바꿔주는 것이다. 

 

한편 논문에서 제시한 트랜스포머는 두 embedding layer와 pre-softmax linear transformation(layer)가 같은 가중치 행렬을 공유한다고 한다. 그리고 embedding layer의 가중치에 d_model의 제곱근을 곱해준다.

 

 

Positional Encoding

 

트랜스포머는 순차적인 입력을 받는 recurrence 혹은 convolution 구조가 아니기 때문에, 그 order set 내지는 position 정보를 넣어주어야 한다. (여기에서 넣어주는 정보는 상대적인 위치 정보일 수도 있고, 절대적인 위치 정보일 수도 있다.)

따라서 트랜스포머에서는 모델에 embedding vector를 인풋으로 투입하기 전에 position 정보를 더해주는데, 이를 Positional Encoding이라고 한다.

 

출처) https://wikidocs.net/31379

 

 

위 과정은 인풋으로 들어가기 전, 임베딩 벡터를 모은 행렬에 postional encoding 값이 더해지는 것을 표현한 것이다.

(위에서는 d_model, 즉, 입력의 차원이 4이지만 실제 논문에서는 512임을 유의해야 한다.)

위에서 pos는 입력 문장(i am a student)에서 임베딩 벡터(행 벡터)의 위치를 나타내고, i는 임베딩 벡터 내의 인덱스를 의미한다.

 

오른쪽 포지셔널 인코딩 값은 sin과 cosine 함수의 값으로 결정한다.

(pos, 짝수)일 때는 sin함수의 값으로 결정하고 (pos, 홀수)일 때는 cosine함수의 값으로 결정한다.

이것은 하나의 공식일 뿐이고, 포지셔널 인코딩을 하는 방법은 그 목적에 따라 다양하다.

중요한 것은 이렇게 포지셔널 인코딩 값이 달라짐에 따라 같은 단어라고 할 지라도, 다른 값이 더해지기 때문에 결과적으로 서로 다른 임베딩 벡터(input)가 될 수 있다는 것이다. 

 

 

Why Self-Attention

 

이번 단락에서는 연구자들이 Transformer의 중요한 학습 과정인 Self-Attention을 RNN, CNN과 비교하며 장점을 부각한다.

 

비교는 다음 세 가지 측면에서 이루어진다.

 

1.  Total computational complexity per layer (총 계산 복잡도)

2. The amount of computation that can be parallelized (순차적 작업의 "최소" 필요 수)

3. Path length between long-range dependencies in the network (긴 시점 간의 경로길이)

 

논문에서 제시하는 연구결과는 다음과 같다.

 

 

 

1. Total computational complexity per layer

 

Self-Attention은 지속적으로 일정하게 모든 position을 연결하기 때문에 sequence length의 두 배 만큼 복잡도가 증가한다. 

반면 Recurrent나 Convolution은 sequence length가 아닌 representation의 차원의 두 배 만큼 복잡도가 증가한다.

그런데, NLP의 state-of-the-art models들은 거의 sequence length가 representation의 차원보다 짧다. 

따라서 self-attention이 더 적은 복잡도를 가진다고 볼 수 있다. 

 

2. The amount of computation that can be parallelized

 

Self-Attention은 Recurrent에 비해 필요한 최소 작업량을 n에서 1로 줄인 것을 확인할 수 있다.

 

3. Path length between long-range dependencies in the network

 

가장 주목할 만한 부분이 바로 이 세 번째 비교이다. long-range dependencies를 효과적으로 학습하는 것은 sequential한 task에서 매우 핵심적인 부분이다.

그러한 능력을 파악할 수 있는 지표 중 하나가 바로 Path lenth이다. 여기서 Path length는 전방 및 후방 신호가 네트워크에서 통과해야 하는 경로의 길이를 의미하는데, Path length가 짧을 수록 long-range dependencies를 효과적으로 배울 수 있다.

 

한편 위 테스트 결과를 살펴보면, 여러 레이어들 중 Self-Attention의 최대 경로 길이가 가장 짧다.

따라서, Self-Attention이 다른 레이어들과 다르게 더 효과적으로 long-range dependencies를 학습할 수 있다는 것을 알 수 있다.

 

+ long sequence에서 computational performance를 향상 시키기 위해, 전체가 아닌 r개의 이웃(neighborhood)에만 self-attention을 수행하는 방법이 있을 수 있다.

이는 위에서 확인할 수 있듯이 기본 self-attention보다 "computational complexity" 측면에서 개선을 이뤄냈다.

그러나 저자들은 실험 결과, maximum path length는 오히려 증가했음을 확인하여 추후 더 자세한 연구를 진행한다고 언급하고 있다.

 

(실제로 이 논문이 발표되고 몇 해가 지난 오늘 날, 계산 복잡도와 최대 경로 등 트랜스포머의 "효율성"을 개선하려는 연구가 활발히 진행되고 있다.)

 

+ 논문에서는 트랜스포머의 추가적인 장점으로 "설명이 가능하다"는 것을 언급한다.

 

 

연구자들은 어텐션이 이루어지는 분포를 점검하고 이를 공유하였는데, 많은 것들이 문장의 구문과 의미 구조와 관련된 행동을 보인다고 언급한다. 위 그림은 인코더에서 이루어지는 self-attention 레이어 중 하나인데, 실제로 "making"이라는 단어가 "more" , "difficult"에 강하게 연결된다. 이는 문법 구조에 맞는 방향이다.

 

Training

 

1. Optimizer

연구진은 옵티마이저로 Adam을 사용하였고, 위와 같은 수식으로 학습률을 조정하였다.

 

2. Regularization

연구진은 정규화 기법으로 Residual Dropout과, Label Smoothing을 이용하였다.

먼저 Residual Dropout은 각 하위 레이어(sub_layer)의 아웃풋과 임베딩, 포지셔널 인코딩의 합에 적용하였다.

그리고 학습과정에서 Lable Smoothing을 적용하였는데, 이는 모델이 더 확실하지 않은 것을 학습하기 때문에 혼란을 가중시키지만 정확도와 BLEU 점수를 향상시켰다고 한다.

 

 

Result

 

트랜스포머는 BLEU scores에서 이전 모델들보다 더 좋은 sota 성능을 달성하였다. 특히 구조가 큰 big 트랜스포머는 가장 좋은 성능을 얻은 것을 볼 수 있다. 또한 Traning cost에서도 마찬가지로 기존의 모델들과 앙상블 모델들보다 향상된 결과를 얻었다.

 

Model Variations

연구자들은 트랜스포머의 핵심 요소들의 중요성을 평가하기 위해 모델에 조금씩 차이를 주면서 그 결과를 종합하였다.

 

 

위 결과를 정리하면 다음과 같다.

 

- (A): head를 많이 두면 성능이 좋아지지만 무작정 많이 둔다고 해서 성능이 오르는 것은 아니다.

- (B): key의 차원(dk)이 작은 것보다 큰 것의 성능이 더 높다.

- (C): 큰 모델일수록 성능이 더 높다.

- (D): dropout이 성능을 향상시킬 수 있다.

- (E): 이 논문에서 적용한 것과 다른 positional embedding을 사용해도 성능에 큰 차이는 없다.

 

마치며

 

오늘날 AI의 트랜드를 논할 때 이 트랜스포머를 빼놓을 수 없을 것이다. Sequential task, 특히 번역 작업에서 트랜스포머의 파급력은 이미 널리 알려졌기 때문에 더 강조하는 것은 의미가 없어보일 정도이다. 여전히 이 트랜스포머를 베이스로 한 응용 모델들이 활발하게 연구되고 있으며 현업에서도 그 성능을 인정받았다고 할 수 있다.

 

그러나 필자는 이러한 NLP에도 관심이 있지만, 같은 sequential task인 시계열 데이터 분석에서 트랜스포머가 어떤 역할을 하게 될 지에 대해 가장 큰 관심이 있다.

 

비즈니스 도메인을 지향하는 학생으로서 시계열 데이터 분석이 비즈니스에서 큰 역할을 할 수 있다는 것을 잘 알고 있다.  

어떻게 보면 장기 종속성(long dependence) 문제에 가장 치명적인 것이 바로 시계열 분석이기 때문에, 시계열 분석 전문가들에게 이 트랜스포머의 등장은 큰 반가움으로 다가왔을 지도 모른다.

 

2023년 이 리뷰를 작성하는 시점에서 바라보면, 2017년 이 논문을 통해 트랜스포머가 제안된 뒤, 시계열 분석에서도 이를 적용하려는 시도가 당연히 있어왔다는 것을 알 수 있다.

사실 더 정확하게 설명한다면, 시간이 지나 기본적인 트랜스포머가 가지는 한계점들을 규명하고, 이를 개선함과 동시에 시계열 데이터가 가지는 특징을 모델에 녹여내려는 시도들이 이어지고 있다. 

실제로 연구 결과 트랜스포머의 응용을 통해 여러 개선이 이루어졌고, 시계열 분석이 가지는 자기상관성, 추세/계절/순환 변동 등과 같은 고유한 특징들을 고려한 응용 모델이 발표되기도 했다.

 

이러한 최신 트렌드를 이해하기 위해서는 결국 기초라고 할 수 있는 "기본 트랜스포머, vanilla 트랜스포머"를 제대로 이해하고 있어야한다는 점에서, Attention is all you need 이 논문을 가장 먼저 리뷰하는 것에 큰 의미가 있을 것이라고 생각한다.

 

다음 포스트에서는 앞서 언급했듯이 시계열 분석에서 트랜스포머가 어떻게 응용되어 왔는 지를 정리한 논문을 리뷰해보고자 한다.

 

 

 

참조

https://wikidocs.net/31379

16-01 트랜스포머(Transformer)

원문

https://arxiv.org/abs/1706.03762

Attention Is All You Need