릿지(Ridge)회귀, 라쏘(Lasso)회귀 모델 (+Elastic net)

릿지(Ridge)회귀와 라쏘(Lasso)회귀 모델은 정규화를 위한 규제를 가한 모델이다.

머신러닝에서 정규화란, 주로 과대적합(혹은 과소적합)되어있지 않은 "일반화"된 모델로 조정하는 것을 의미한다.

같은 맥락에서, 회귀모형에 규제를 가하여 정규화한 모델이 바로 릿지와 라쏘 모델이라고 할 수 있다.  

 

과적합 문제는 대부분의 머신러닝 알고리즘에서 가장 경계하는 부작용이다.

과적합(Overfitting) 문제는 우리가 학습시킨 데이터에 지나치게 적합되어 나타나는 문제이다.

조금 더 풀어서 이야기 하면, 우리가 만든 학습 환경에서는 우수한 성능을 보이지만 현실 세계에 적용하면 그 성능이 떨어지는 문제인 것이다.

학습 환경에서만 성능이 좋다는 것은 특히나 비즈니스 분야에서 어떠한 의미도 갖지 못하기 때문에,

분석가들은 머신러닝 알고리즘을 다룰 때 이 문제를 항상 경계해야만 한다.

 

 

모델 복잡도에 따른 에러, 출처)구글

 

 

릿지(Ridge)회귀 / 라쏘(Lasso)회귀 모델

회귀모델의 과적합 문제를 규제(패널티)를 통해 보완한 모델이다.

 

*규제(Regularization)란, 

- 과적합 문제를 해결하기 위한 패널티.

- 회귀모델에서는 비용함수(혹은 목적함수라고 표현하기도 한다.)에 규제를 가한다.

- 벡터의 크기 혹은 거리를 측정하는 것을 뜻하는 norm을 규제항으로 더해준다.

 

이때, norm에 따라 L1, L2규제가 나뉘는데, 

norm이 절대값의 합인 것을 L1, 제곱합인 것을 L2 규제라고 한다.

 

참고로 이러한 규제와 모델은 회귀분석 뿐만 아니라 딥러닝 등 회귀문제에 이용되는 다른 알고리즘에도 쓰인다. 

 

 

L1 규제, 출처) 구글

L2규제, 출처) 구글

 

 

- 라쏘회귀 (L1 규제)

 

라쏘회귀계수, 출처) 구글

위 식에서 t는 데이터의 수, k는 계수의 수(독립변수의 수 혹은 차원)를 의미하고, 람다는 규제정도(학습률)이다. 

 

라쏘회귀는 회귀계수 추정에 있어서 비용함수에 계수의 절댓값의 합을 더해주는 것이다.

이는 계수를 추정하는 데 있어서 계수의 절대값의 합이 최소가 되어야 한다는 조건이 추가된 것을 의미한다.

절댓값의 합이 최소가 되기 위해서는 0이나 0에 가까워야 하기 때문에,

어떤 계수는 0이 될 수도 있다.(어떤 변수가 제거된다.)

 

이에 영향력이 약한 변수는 아예 제거되고, 모델이 유의미한 변수들에 의해 요약된다.

이는 모델의 설명력을 높인다는 장점이 있다. 

 

 

-릿지회귀 (L2 규제)

릿지회귀계수, 출처) 구글

위 식에서 t는 데이터의 수, k는 계수의 수(독립변수의 수 혹은 차원)를 의미하고, 람다는 규제정도(학습률)이다.

 

릿지회귀는 회귀계수 추정에 있어서 비용함수에 계수의 제곱의 합을 더해주는 것이다.

이는 계수를 추정하는 데 있어서 계수의 제곱합이 최소가 되어야 한다는 조건이 추가된 것을 의미한다.

여기서 라쏘와의 차이점이 있는데, 제곱합은 아무리 최소가 되어도 0이 될 수 없다.

 

이에 모든 변수가 제거되지 않기 때문에, 기존 데이터의 특성을 최대한 살린다.

일반적으로 릿지모델은 변수를 아예 제거하는 라쏘보다 더 유연하기 때문에, 항상 정규화가 일어난다.

또한, 변수가 그대로 남아있기 때문에, 다중공선성이 존재하는 모델에도 좋은 성능을 발휘한다.

 

 

 

- 엘라스틱 넷 (L1 + L2)

엘라스틱 넷 회귀계수, 출처)구글

위 식에서 t는 데이터의 수, k는 계수의 수(독립변수의 수 혹은 차원)를 의미하고, 람다는 규제정도(학습률)이다.

 

엘라스틱 넷은 L1과 L2 규제를 동시에 적용하는 것인데, 두 규제의 장점을 모두 활용하고자 할 때 이용한다.

그러나 이는, 항상 효과가 보장된 것은 아니지만, 큰 데이터 셋에서 효과가 있고,

작은 데이터 셋에서는 라쏘, 릿지보다 그 효과가 미비한 편이다.