[R] 선형회귀, 로지스틱회귀 [Regression Analysis]

회귀분석은 통계학에서 시작되어 연구되었기 때문에, 통계적 분석에 특화된 R을 이용하는 것이 더 효과적일 수 있다.

R에서는 파이썬과 달리 기본 내장함수로 회귀분석을 수행할 수 있고, 여러 통계적 검정이나 가정을 확인하는 데에도 매우 유리하다.

또한 관련 라이브러리를 통해 변수선택법을 자동으로 수행해주는 등 R은 회귀분석을 다각도로 수행해볼 수 있는 매우 좋은 환경을 제공한다.

이에 R을 통한 통계적 스탠스로 비즈니스 도메인에서 회귀분석이 어떠한 역할을 할 수 있는 지, 그 과정을 살펴보고자 한다.

 

우선 데이터를 받아온다.

 

library(dplyr)
df = read.csv("purch_behavior.csv") #이 데이터는 마케팅 활동을 위해 전략적으로 수집한 데이터이다.

 

df %>%
  glimpse()

 

먼저 데이터를 살펴보며 전처리가 필요한 지점을 탐색한다.

살펴보니 몇몇 변수들의 형태를 바꿔줄 필요가 있음을 파악할 수 있다.

# purchase(마케팅 기간 내 구매여부) + married(결혼여부) + loyalty_card(로얄티 카드 유무), int -> factor(범주형)

선형회귀분석에서 범주형 변수를 이용하기 위해서는 "더미화"를 통해 수치형 변수로 취급해야 한다. (reference = 0, 분석대상 = 1)

참고로 R에서 회귀모델을 만드는 함수들은 자동으로 더미화, 수치화 변환을 해준다.

 

회귀분석 뿐만 아니라 다른 분석에 있어서, 여러 아이디어를 통해 다른 변수를 조합해서 사용할 수 있다.

 

df$married = as.factor(df$married)
df$loyalty_card = as.factor(df$loyalty_card)
df$purchase = as.factor(df$purchase)

 

 

변수를 선택하는 방법에는 여러 접근이 있다.

단계적 선택법, 상관관계가 높은 변수, VIF(분산팽창지수)가 낮은 변수를 선택하는 등 여러 통계적 솔루션이 존재한다.

그런데, 분석가가 고안한 흐름이 논리적이라면, 그러한 바텀업(데이터에서 도메인으로)이 아닌 탑다운(도메인에서 데이터로) 접근방식이 유효할 때에도 있다.

즉, 탑다운 방식은 먼저 관심이 가는 변수들과 그 관계를 가정하고 데이터를 살펴 모델을 만들어 보는 것이다.

 

 

선형회귀모형

코드:  lm(종속변수 ~ 독립변수, data = )

참고로, lm(종속변수 ~. ,data = ) 이렇게 .을 넣으면 타겟(종속변수)을 제외한 모든 변수를 독립변수로 넣는다.

필자는 변수들 중 "상태변수"들과(결혼여부, 로얄티 카드, 수익) "행동변수"(purchase, recency_days)가 주문 수에 얼마나, 어떤 영향을 미치는 지를 확인하고자 하였다.

 

lm1 = lm(number_of_orders ~ married + loyalty_card + purchase + income, data = df)
summary(lm1)

________________________

 

모델을 만들었다면 다음으로 해야할 것은 그 변수의 유효성을 검증하는 일이다.

이는 통계적 가설검정을 거쳐야 하는데, 위 결과는 그 과정을 매우 간편하게 해준다.

위에서 Pr은 t-test에서 유의수준과 비교대상이 되는 p-value이며, 이를 통해 변수의 유효성을 검정한다.

통상적인 유의수준은 0.05(위 결과에서 *)로, Pr이 이보다 작다면 이 변수는 95% 신뢰수준에서 유효하다는 결론을 내릴 수 있다.

 

위 모델에서 유의미한 변수를 해석해보면, 마케팅 캠페인에 반응하는 고객이, 반응하지 않는 고객에 비해 주문 수가 증가한다는 것과(단위당 9.8), 고객의 수입이 높을수록 그 고객의 주문 수 또한 증가한다는 것이(단위당 0.017) 95%에서 통계적으로 유의미하다는 결론이 나온다.

 

물론, 이러한 모델이 더 설득력을 가지기 위해서는 "모델 전체의 유효성"과 이 모델의 "통계적 가정"을 확인해야만 한다.

이 모델의 유효성은 위 결과의 하단에서 볼 수 있다. 마찬가지로 f-test의 p-value가 그 유의수준에서 비교가 되고, 모델의 설명력은 R-squared를 통해 나타난다. 위 모델은 p-value가 0.05보다 한참 작아, 통계적으로 유의미한 모델이지만 그 설명력이 약 11%에 그친다.

결론적으로 이 모델이 데이터를 충분히 설명하고 있지는 않다고 할 수 있는 것이다.

 

또한, 회귀분석은 잔차의 정규성(정규분포를 따른다고 가정), 등분산성(분산이 어느 지점에서나 같다는 가정), 독립성(어느 지점에서나 독립적이다.) 가정 하에 모델을 만들고 검정한다. 이에, 어떤 회귀모델이 유효성을 갖기 위해서는 이를 모두 확인해야 한다.

 

R에서는 plot()을 통해 이들을 간단히 확인해 볼 수 있고, 여러 필요한 검정들도 라이브러리를 통해 제공한다.

plot(lm1) #plot(모델) 

 

#정규성 검정

qqnorm(lm1$residuals) #normal Q-Q plot
shapiro.test(lm1$residuals)
hist(lm1$residuals)

 

#독립성검정

install.packages("lmtest")
library(lmtest)
dwtest(lm1) #모델을 인자로 받는다.

________________________

 

로지스틱회귀모형

 

 

다시 분석으로 돌아와 위 선형회귀모델을 자세히 보면, 마케팅 캠페인에 반응하는 고객이 반응하지 않는 고객에 비해 주문 수가 증가한다는 것을 알 수 있었다.(단위당 9.8)

즉, purchase 변수(마케팅 캠페인에 의한 구매여부)가 주문 수에 영향을 강하게 미치고 있는, 통계적으로 유의미한 변수인 것이다.

이에, purchase를 극대화 한다면 주문 수 또한 오를 수 있다는 것을 알 수 있는데, 이를 위해 새로운 모델을 만들어볼 수 있다.

 

purchase는 R에서 factor형, 즉, 범주형 변수이므로, 범주형 변수를 타겟(종속변수)으로 한 회귀모델인 로지스틱회귀모델이 적절한 분석 방법이다. 로지스틱회귀모델을 만드는 코드는 다음과 같다. 

#코드:  glm(종속변수 ~ 독립변수, family = binomial, data = )

 

glm1 = glm(purchase ~ married + loyalty_card + number_of_orders + recency_days + income, family =binomial() , data = df)
summary(glm1)

 

 

앞서 회귀모델과 마찬가지로, 독립변수들은 상태변수와 행동변수를 조합해서 넣을 수 있다.

p-value를 보면, 모든 변수의 p-value가 유의수준 0.05보다 작아 모든 변수가 통계적으로 유의미하다는 결론을 내릴 수 있다.

로지스틱회귀모델은 로짓화되어있는 값으로 반환을 해주는데, 이를 해석하기 위해서는 자연수 함수를 적용한다.

 

exp(glm1$coefficients)

 

이 결과를 보면, 상대적으로 큰 영향력을 가지는 두 변수인 married1과 loyalty_card1을 주목할 필요가 있다.

이를 승산비(odds ratio)로 해석하면, 기혼자는 미혼자에 비해 마케팅 캠페인을 통한 구매확률을 2.2배 증가시키며, 로얄티 카드를 가진 사람은 가지지 않은 사람에 비해 2.44배 증가시킨다.  

 

즉, 여기서 마케팅 시사점을 뽑아낼 수 있다. 이 모델의 결과를 통해, 마케팅 캠페인의 구매효과를 높이기 위해 어떤 지점을 공략해야할 지 그 지점을 뽑아낼 수 있는 것이다.

해당 구매 데이터에 따른 분석결과는 기혼자와 로얄티 카드를 가진 이들이 마케팅 캠페인 이후 구매할 확률을 더 높이고 있다.

따라서, 마케팅의 구매전환율을 높이고 결과적으로 주문건수와 수익을 높이기 위해서는, 기혼자를 타겟으로 한 마케팅 활동이나 로얄티 카드를 가지고 있는 충성고객을 위한 마케팅 활동을 전개할 필요가 있다는 결론에 도달할 수 있다. 

 

이처럼 분석의 흐름을 잡는 것은 회귀분석 내 일련의 과정에서 아이디어를 얻을 수도 있다.

중요한 것은 분석가의 흐름은 논리적이어야 한다는 것이고, 통계적으로 그 근거가 확보되어야 한다는 것이다. 

 

*참고

 

https://seollane22.tistory.com/9

회귀 분석(Regression Analysis) [Supervised Learning]