[PYTHON] 의사결정나무 (Decision Tree)

의사결정나무는 분류와 회귀 문제에 모두 적용이 가능한 알고리즘으로,

결과도출과정과 그 결과를 해석하기에 매우 유리한 알고리즘이다.

파이썬의 의사결정나무 알고리즘은 사이킷런 라이브러리를 이용한다.

 

분석에 쓰인 데이터는 캐글에서 가져온 ibm hr분석(퇴사여부 분류) 데이터이다.

(https://www.kaggle.com/datasets/pavansubhasht/ibm-hr-analytics-attrition-dataset?datasetId=1067&searchQuery=deci)

 

전처리 과정에서 가장 중요한 것은 자료형 확인, 결측치 확인, 데이터 분포 확인 등이 있다.

위 데이터는 특히 자료형에 유의해야 한다.

데이터 설명을 참조하면 얼핏 수치형으로 보이는 변수들이 사실은 명목형 변수를 나타내고 있음을 알 수 있다.

 

이어지는 코드들은 설명을 위한 것으로, 들여쓰기 등 그대로 복붙 시에 문제가 발생할 여지가 있다.

이에 직접 구현을 위한다면 깃허브 링크 속의 코드를 참고하는 편이 낫다.

 

이에 설명을 참조하며 명목형으로 보는 것이 적절한 변수들을 카테고리 형으로 변환해준다.

#카테고리형으로 변환 # .astype
hr = hr.astype({'JobLevel': 'category', 'StockOptionLevel': 'category', 'Education':'category', 'MaritalStatus':'category','Attrition':'category', 'OverTime':'category', 'Gender':'category', 'BusinessTravel':'category', 'Department':'category','EducationField':'category','JobRole':'category' })

#같은 값을 가지는 변수 제거 #drop
hr.drop(['EmployeeCount','StandardHours','Over18','EmployeeNumber'],axis=1,inplace=True)

 

의사결정나무 알고리즘은 명목형 변수들의 더미화(수치화)가 필요하지만,

단위를 맞춰주는 표준화 작업은 필요하지 않다.

 

더미화는 사이킷런 라이브러리의  OneHotEncoder나 판다스 라이브러리의 get_dummies를 이용한다.

 

#수치/명목형 변수들 분리
num_fea = [column for column in hr_copy.columns if hr_copy[column].dtype != "category"]
cat_fea = [column for column  in hr_copy.columns if hr_copy[column].dtype ==  "category"]

#원핫인코더
#더미화
from sklearn.preprocessing import OneHotEncoder
ohe = OneHotEncoder()
dummies = ohe.fit_transform(hr[cat_fea]).toarray()
df_dummies = pd.DataFrame(dummies, columns = ohe.get_feature_names(hr[cat_fea].columns)) hr_dum=pd.concat([hr_copy[num_fea].reset_index(), df_dummies], axis=1) hr_dum.drop('index',inplace=True,axis=1) hr_dum.columns

* 참고로 판다스의 get_dummies 함수를 이용하면 위보다 더 간단하게 더미화를 진행할 수 있다.

 

#레이블 분포 확인
x = hr_dum y = hr.Attrition
y.value_counts()

위 코드 결과, y, 즉, 레이블의 클래수 수가 1233(퇴사x) : 237(퇴사o)로 불균형한 상태인 것을 확인할 수 있다.

이에, 적은 클래수를 높여주는 오버샘플링이나 많은 클래수를 낮춰주는 언더샘플링을 할 필요가 있다.

 

그런데, 오버샘플링은 원래 데이터가 가지고 있던 고유의 특성 내지는 분포를 더욱 크게 왜곡시킨다.

이에 상대적으로 그 왜곡이 적은 언더샘플링을 지향할 필요가 있다. (단, 데이터 수가 충분히 크다면)

 

#oss 언더 샘플링
from imblearn.under_sampling import *
X_samp, y_samp = OneSidedSelection().fit_resample(x,y)

여기서는 여러 언더샘플링 방법 중 oss를 사용하였는데,

이는 작은 클래스의 데이터에서 가장 가까운 큰 클래스의 데이터를 찾아서 지우는 "토맥랭크"와

큰 클래스에서 작은 클래와 지나치게 거리가 먼 데이터를 제거하는 "cnn"기법을 합친 기법이다.

즉, oss는 둘의 장점을 섞은 기법으로, 데이터의 중심분포는 유지하면서 분류지점에 가까운 값들과 지나치게 멀리 있는 이상치들을 제거할 수 있다는 장점이 있다.

 

# 데이터 분할
from sklearn.model_selection import train_test_split
x_train, x_test, y_train, y_test = train_test_split(X_samp, y_samp, test_size=.2, shuffle = True, stratify = y_samp,random_state = 2)

학습 데이터와 테스트 데이터를 8:2로 분할한다.

 

#모델 만들기, 학습
from sklearn.tree import DecisionTreeClassifier #의사결정나무 코드 import 

max_depth = [5,6,7,8,9,10]

for i in max_depth:
dt_md = DecisionTreeClassifier(min_samples_leaf = 20 , criterion = "entropy",max_depth = i,  class_weight= 'balanced',random_state = 2) # 최대성장깊이를 바꿔가며 모델링

dt_md.fit(x_train,y_train) #학습

print("max_depth:",i)

print('정확도:',dt_md.score(x_test,y_test))

위 코드는 의사결정나무 모델을 만들어 학습시키는 코드이다.

DecisionTreeClassifier()로 모델을 만들고 .fit()을 통해 모델에 학습 데이터를 적합시킨다.

위에서 주목해야할 것은 DecisionTreeClassifier(min_samples_leaf = 20 , criterion = "entropy",max_depth = i, class_weight= 'balanced',random_state = 2) 인데,

 

min_samples_leaf =20 # 잎 노드 최소 데이터 수 20

criterion = "entropy" # 엔트로피로 분기

max_depth = #최대 성장치

class_weight = 'balanced' # class 가중치 부여

random_state = 2 # 모델 고정

 

이와 같은 "하이퍼 파라미터"를 지정할 수 있다.

이는 과적합, 과소적합 문제를 방지하는 것과 더불어 모델의 성능에도 큰 영향을 주는 것들이다.

위 코드에서는 과적합 방지를 위해 최대 성장치별 모델의 정확도를 반환하도록 하였다.

 

위 결과는 나무가 깊게 성장한다고 해서 정확도가 향상되지 않고 오히려 떨어지고 있음을 보여주고 있다.

이는 과적합 문제로, 학습 데이터에 지나치게 적합된 모델이라는 것을 의미한다.

반대로 나무가 얕게 성장한다면 그 모델의 설명력이 떨어지는 문제점이 있다.

따라서 위와 같이 정확도를 확인해가며 max_depth을 포함한 여러 하이퍼 파라미터들을 적절하게 결정해야 한다.

 

#시각화
from sklearn import tree
import graphviz
dot_data = tree.export_graphviz(dt_5, # 의사결정나무 모형 대입 out_file = None, # file로 변환할 것인가 feature_names = x_test.columns, # feature 이름 class_names = ['NO','YES'], # target 이름 filled = True, # 그림에 색상을 넣을것인가 rounded = True, # 반올림을 진행할 것인가 special_characters = True) # 특수문자를 사용하나
graph = graphviz.Source(dot_data)
graph

위와 같이 graphviz를 통해 의사결정나무를 시각화할 수 있다.

시각화는 모델의 이해와 해석을 돕는 매우 효과적인 도구이다.

의사결정나무 시각화

 

모델을 만들고 학습시킨 후, 해당 모델에 대한 성능을 평가하는 것 또한 중요하다.

 

#분류_레포트 출력
from sklearn.metrics import classification_report
print(classification_report(y_test, y_predict, target_names = ["F", "T"])) #(실제 값, 예측 값)순서

 

 

위 값들은 분류성능을 평가하는 지표들이다. (F: 퇴사 x, T: 퇴사 o)

 

accuracy(정확도): 전체 값들 중 예측값이 맞은 것의 비율

precision(정밀도): 예측 값들 중에서 실제 값과 맞는 것들의 비율

recall(재현율): 실제 값들 중에서 예측 값이 맞는 것들의 비율

f1-score: Precision과 Recall의 조화평균 (2*(Recall * Precision) / (Recall + Precision)

 

* f1-score는 클래스 불균형이 심할 때 정밀도와 재현율을 보정한 성능으로 이용한다.

- 위 케이스는 실제 T(퇴사 o)가 F(퇴사 x)보다 적기 때문에 precison이 낮게 나올 수 밖에 없다.

   때문에 재현율과 조화평균을 구해 성능을 평가한다.

 

support: 각 레이블(F: 퇴사 x, T: 퇴사 o)의 샘플 수

marco avg: 단순 평균

weighted avg: 클래스의 불균형을 가중치로 반영하여 산출한 평균

 

 

*정확한 코드 참조

https://github.com/Reign2121/Mining-project

GitHub - Reign2121/Mining-project: Data Mining and codes

https://seollane22.tistory.com/15

의사결정나무(Decision Tree) [Supervised Learning]