회귀분석(Regression Analysis) [Supervised Learning]

AI, 데이터 분석의 밑바탕인 머신러닝(기계학습)에는 크게 세 가지 갈래가 있다.

 

- 지도학습 (타겟, 정답을 함께 학습시켜 타겟을 예측한다.)

- 비지도학습 (타겟, 정답없이 학습시켜 데이터의 특성을 파악한다.)

- 강화학습 (주어진 상태에 대한 보상을 통해 최적의 행동을 학습시킨다.)

 

 

회귀분석 - 지도학습

 

 

회귀분석은 대표적인 지도학습 알고리즘으로 통계학의 꽃이라고도 불린다.

통계학에서 발전한 회귀분석은 결과값을 예측하고 그 값에 미치는 변수들의 영향력을 알아보는 데 쓰인다.

여러 연구와 학문분야간 교류 속에서 많은 응용이 등장했지만 그 사상과 목적은 이와 동일하다.

 

회귀분석은 비즈니스의 여러 도메인(금융, 마케팅 등)에서 매우 유용하게 이용된다.

회귀분석을 통한 회귀모형은 그 응용이 매우 다양해서 여러 문제에 적용할 수 있는데,

대표적으로 가격, 수요량, 만족도 등의 수치를 예측하는 회귀문제를 해결하고, 그 수치에 미치는 변수들의 영향력을 확인할 수 있다.

또한, 선형이 아닌 여러 응용모델을 통해 생존/이탈, 대출 상환/비상환, 캠페인에 반응/ 무반응 등 이항 분류문제나 제품 선택과 같은 다항 분류문제에도 같은 역할을 수행할 수 있다.

이처럼 회귀분석은 통계학에서 출발한 "데이터마이닝"에 매우 유용하게 이용된 알고리즘이며, 그 성능을 평가하고 보완하는 여러 솔루션들 또한 많이 제시되어있기 때문에 비교적 안정적으로 널리 이용되는 분석방법이다.

 

"회귀"라는 단어가 어느 지점으로 되돌아가는 것을 의미하듯, 초기에 통계학에서 연구된 회귀 분석은 과거의 패턴을 학습하여 그 "평균으로의 회귀점"을 찾는 것이 궁극적인 목표라고 할 수 있었다.

회귀분석은 생물학자 프랜시스 골턴이 아버지의 키와 아들의 키의 관계를 설명하는 데 처음으로 제안했다고 알려져 있다.

그가 주목한 것은 타겟 값들이 평균에서 크게 벗어나지 않는다는 것이었는데 이러한 측면에서 "평균으로의 회귀"가 등장한 것이다.  

오늘날에도 패턴을 학습하여 어떤 예측치를 내놓는 점에서 그 사상이 같지만, 많은 응용들과 다양한 사례가 축적되어 "평균으로의 회귀"의 본의미는 많이 퇴색되었다.

대신에 회귀분석이 가진 목표와 사상은 계속 이어져 왔기 때문에 여전히 과거의 패턴을 학습하여 어떤 값을 예측하는 문제를 "회귀문제"라고 부르는 것이 일반적이다.

 

그런데 시대가 흐르고 머신러닝 분야의 연구가 축적되며 이러한 "회귀문제"를 해결하는 방법으로 회귀나무, 인공신경망 등 다양한 알고리즘들이 제안되었다.

이에 회귀문제를 해결하는 알고리즘은 다양화되었지만, 통상 회귀분석이라고 하면 통계학에서 제안된대로 회귀계수를 계산하여 추정하는 전통적인 알고리즘을 의미하는 것이 일반적이다.

 

 

 

선형회귀직선, 출처) 구글

 

 

수리적으로 회귀분석은 "한 줄의 식을 찾는 것"이라고 말할 수 있다.

그 식은, 위 그림에서 본다면, 데이터들을 관통하는(잘 설명하는) 하나의 직선이라는 의미 또한 가진다.

이에 위 그림에서의 회귀직선, 더 정확하게는 변수가 하나인 단순선형회귀직선의 기울기는 그 변수(x 변량)의 영향력으로 이해할 수 있다.

예를 들어, 아들의 키가 종속변수(y), 아버지의 키가 독립변수(x)일 때, 도출한 회귀식이 y = 2/3x + 70이라면, 아버지의 키는 아들의 키에 2/3 만큼 영향을 끼치고 있는 것이다.

이때 회귀계수인 2/3과 +70을 구하는 방법으로는 주로 최소자승법, 영어로 "least squared method"라고 부르는 계산식이 이용된다. 이는 오차를 최소화하는 회귀계수를 근사적으로 구하는 방법이라고 이해하면 된다.

 

 

머신러닝에서의 회귀분석

 

 

머신러닝에서의 회귀분석 알고리즘은 최소자승법과 r-squared 등 통계적인 계산과 다르지 않다. 이에, 오차를 최소화하는 회귀계수를 추정하고 이를 평가하여 어떠한 값을 예측해내는 목적 또한 동일하다.

그런데 통계학적 실험상황과는 달리 실생활의 많은 문제들은 영향을 미치는 변수들이 하나인 경우는 거의 없고, 선형관계가 아닌 문제들 또한 존재한다. 이에 로지스틱 회귀분석, 다항회귀 등의 응용 모델이 등장하였고, 특히 실생활에서의 응용을 중요시하는 머신러닝에서는 상황에 맞게 여러 응용 모델을 이용하는 것이 일반적이다. 

 

또한 통계학과, 머신러닝을 연구하는 Computer Science(이하 cs) 사이에는 회귀계수와 모델을 평가하는 것에서 약간의 스탠스 차이가 있다.

통계학에서는 회귀계수와 모델의 유효성을 각각 t-test와, f-test로 평가하는데, 통계학에서는 이러한 분포를 신뢰하고 이에 맞게 가설을 검증하는 것이 주된 연구방향이기 때문이다.

그러나, 현실의 다양한 데이터에 회귀분석 알고리즘을 적용해보면, 실제로 이러한 분포검정을 모두 충족하는 모델을 찾기가 매우 어렵다. 이에 cs 연구자들과 현업에서는 주로 신뢰할 수 있고, 양이 많은 test 데이터를 통해 그 정확도를 확인하여 모델의 유효성을 검증하는 방법을 주로 이용한다.

 

회귀모델의 종류와 쓰임

앞서 언급했던 것처럼, 회귀분석에서는 그 시작이었던 연속형 변수를 통한 선형회귀분석 뿐만 아니라 다양한 변수형태를 다루고 실생활에 적합할 수 있는 응용들이 많이 연구되었다.

 

대표적인 5가지의 회귀분석모델은 다음과 같다.

각 모델에서는 공통적으로 독립변수(설명변수)가 하나일 때 단순회귀모형, 둘 이상일때 다중회귀모형이라고 부른다.

 

선형회귀모델

연속형 독립변수로 연속형 종속변수를 추정할 때, (회귀문제) 

예시) 

- 주가, 제품 가격 평가 

- 수요량 예측

- 만족도 예측

- 기대수익 예측

------

로지스틱 회귀모델

연속형 독립변수로 범주형 종속변수를 확률로써 추정할 때, (분류문제)

예시)

- 생존/이탈 확률 예측

- 대출 상환/ 비상환 확률 예측

- 마케팅 캠페인에 반응/ 무반응 확률 예측

- 구매 / 비구매 확률 예측

-----

다항회귀모델

데이터가 선형 직선이 아닌 비선형 곡선에 더 적합할 때,

예시)

출처) 네이버 블로그

데이터가 이러한 형태를 보일 때, 회귀식을 다항식으로 만들어 오차(선과 점의 거리)를 줄이도록 한다.

-----

릿지(Ridge)회귀 / 라쏘(Lasso)회귀 모델

회귀모델의 과적합 문제를 규제(패널티)를 통해 보완한 모델

 

*과적합 문제: 모델이 학습 데이터에 지나치게 적합되어 실생활과 같은 일반화된 환경에서 성능이 떨어지는 문제.

*규제(Regularization) :

과적합 문제를 해결하기 위한 패널티. 회귀모델에서는 비용함수에 규제를 가한다.

벡터의 크기를 측정하는 norm을 규제항으로 더해준다. 

 

-라쏘회귀

라쏘회귀계수, 출처) 구글

절댓값의 합을 norm으로 하는 L1 규제를 추가하여 회귀계수 추정

 

 

-릿지회귀

릿지회귀계수, 출처) 구글

 제곱합을 norm으로 하는 L2 규제를 추가하여 회귀계수 추정

 

* 자세한 내용은 다음 링크 참조

https://seollane22.tistory.com/10

릿지(Ridge)회귀, 라쏘(Lasso)회귀 모델