공연예술통합전산망(KOPIS) 빅데이터 분석 공모전 4편 모델링

---

진행 기간 : 20220801 ~ 20221019

 

 

 

이 전글에선 공모전을 진행하며 전처리에 대한 부분을 정리하며 다뤄보았다.

공연예술통합전산망(KOPIS) 빅데이터 분석 공모전 3편 전처리

 

 

 

앞서 정리한 글에서는 모델링하기 전 진행한 전처리 과정이다.

 

 

우리는 모델링 과정에서 여러 분류모델을 비교분석하고, 가장 성능이 좋았던 분류 모델을 선정하는 과정을 거쳤다.

 

 

각각의 분류모델에 대해서 어떤 학습을 거쳤는지와 선정한 모델에 대한 이유에 대해서 정리하고자 한다.

 

 

그리고 선정된 모델에 대해서 최적의 하이퍼파라미터를 찾는 과정을 거치면서 최종적으로 모델링을 마쳤다.

 

 

 

 

---

 

import pandas as pd
import numpy as np
 
import seaborn as sns
import matplotlib as mpl
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm
%matplotlib inline
 
from sklearn.linear_model import LogisticRegression
from sklearn.ensemble import RandomForestClassifier
from sklearn.neighbors import KNeighborsClassifier
from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import AdaBoostClassifier
from sklearn.ensemble import GradientBoostingClassifier
from xgboost import XGBClassifier
 
from sklearn.model_selection import train_test_split
from sklearn.metrics import *
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import GridSearchCV
 
from statsmodels.stats.outliers_influence import variance_inflation_factor
 
import statsmodels.api as sm
 
import warnings
warnings.filterwarnings('ignore')

 

> 모델링에 필요한 모듈과 라이브러리를 미리 불러와준다.

 

 

 

X = df[['대출수', '도서 연도','국내/외국', '기타', '동화','희곡']]
Y = df['흥행 여부']

 

> 첫 번째로 로지스틱 회귀모델을 가지고 학습을 시켜 성능 검증을 진행해 보았다.

 

 

 

> accuracy score는 현재 가지고 있는 데이터의 종속변수의 분포가 불균형이므로 평가지표로서 사용하기가 어렵다는 의견이 있었다.

 

> 제작/기획사 입장에서 흥행 실패(0)를 흥행 성공(1)으로 예측하면 안 되므로 FP(실제는 0(흥행 실패)인데 예측은 1(흥행 성공))를 낮추는 데에 초점을 맞추는 precision(정밀도)을 평가지표로 사용하기로 했다.

 

> 종속변수의 분포가 한쪽(흥행 실패)에 쏠려 있는 데이터이므로 균형 잡힌 평균을 구하기 위하여 성능 검증을 위해 micro를 사용했다.

 

> 그리곤 정밀도의 평균을 구해서 출력하여 볼 수 있도록 하였다.

 

 

 

precision mean : 0.7442922374429224

 

 

> 랜덤 포레스트 분류모델에선 대출 수가 월등하게 영향을 주고 있다고 볼 수 있다.

 

> 대출 수 - 도서 연도 - 국내/외국 - 동화 - 희곡 - 기타 순으로 나타나고 있다.

 

 

---

knn = KNeighborsClassifier()
knn.fit(x_train, y_train)
y_pred = knn.predict(x_test)
knn_cvs = cross_val_score(knn, X, Y, cv=3, scoring='precision_micro')
print('precision mean :',np.mean(knn_cvs))
 
 
precision mean : 0.6940639269406392

 

> 네 번째로 의사결정나무 분류모델을 가지고 학습을 시켜 성능 검증을 진행해 보았다.

 

> 결과는 약 0.66의 정밀도를 보여주고 있었다.

 

 

> 의사결정나무에서도 대출 수가 종속변수인 흥행 여부에 영향을 가장 많이 끼치는 것으로 결과가 나왔다.

 

> 대출 수 - 도서 연도 - 국내/외국 - 동화 - 희곡 - 기타 순으로 나타난다.

 

 

---

ada_boost = AdaBoostClassifier()
ada_boost.fit(x_train, y_train)
y_pred = ada_boost.predict(x_test)
ada_cvs = cross_val_score(ada_boost, X, Y, cv=3, scoring='precision_micro')
print('precision mean :',np.mean(ada_cvs))
 
 
precision mean : 0.7031963470319634

 

> AdaBoost에서도 마찬가지로 대출 수가 영향을 끼치는 정도가 압도적이다.

 

> 대출 수 - 국내/외국 - 기타 - 동화 - 도서 연도순으로 나타나고 있다.

 

 

---

gradientboost = GradientBoostingClassifier()
gradientboost.fit(x_train, y_train)
y_pred = gradientboost.predict(x_test)
gb_cvs = cross_val_score(gradientboost, X, Y, cv=3, scoring='precision_micro')
print('precision mean :',np.mean(gb_cvs))
 
 
precision mean : 0.6666666666666666

 

> GradientBoosting 모델 결과도 대출 수가 압도적이다.

 

> 한 가지 발견한 점이 있다면 대출 수를 제외한 나머지 변수에 대해서는 순위가 모델마다 다르다는 것이다.

 

> 랜덤 포레스트, 의사결정나무, AdaBoost, GradientBoosting이 모두 대출 수가 압도적인 수치를 기록하고 있는데 나머지 칼럼들은 매 모델마다 그 수치에 따른 순위가 변동되는 것이 의문점으로 다가왔다.

 

 

---

xgb = XGBClassifier()
xgb.fit(x_train, y_train)
y_pred = xgb.predict(x_test)
xgb_cvs = cross_val_score(xgb, X, Y, cv=3, scoring='precision_micro')
print('precision mean :',np.mean(xgb_cvs))
 
 
precision mean : 0.6757990867579909

 

> 일곱 번째로 XGB 분류모델을 가지고 학습을 시켜 성능 검증을 진행해 보았다.

 

> 결과는 약 0.67의 정밀도를 보여주고 있었다.

 

 

> XGB에서는 도서 연도 - 동화 - 국내/외국 - 희곡 - 대출 수 - 기타 순으로 나타나고 있지만, 대부분의 변수들이 영향을 많이 끼치고 있다는 결과를 보여주는 듯하다.

 

> 여기서 순위를 매기는 것은 크게 의미가 없어 보인다.

 

 

---

x = ["1", "2", "3"]
y_logreg = logreg_cvs
y_rf = rf_cvs
y_knn = knn_cvs
y_dt = dt_cvs
y_ada = ada_cvs
y_gb = gb_cvs
y_xgb = xgb_cvs
 
plt.rcParams['figure.figsize'] = (10, 8)
plt.rcParams['font.size'] = 12
plt.plot(x, y_logreg, label="logisticreg")
plt.plot(x, y_rf, label="randomforest")
plt.plot(x, y_dt, label="decisiontree")
plt.plot(x, y_knn, label='knn')
plt.plot(x, y_ada, label="adaboosting")
plt.plot(x, y_gb, label="gradientboosting")
plt.plot(x, y_xgb, label="xgboosing")
plt.title('모델 비교 그래프') 
plt.xlabel("fold") 
plt.ylabel("정밀도")
plt.legend()

 

 

 

logreg = LogisticRegression(C=0.01, penalty='l2')
logreg.fit(x_train, y_train)
y_pred = logreg.predict(x_test)
logreg_cvs = cross_val_score(logreg, X, Y, cv=3, scoring='precision_micro')
print('precision mean :',round(np.mean(logreg_cvs), 2))
 
 
precision mean : 0.75

> 최종 모델에 대한 변수 중요도를 나타내는 그래프이다.

 

> 대출 수 - 국내/외국 - 도서 연도 - 희곡 - 동화 - 기타 순으로 중요도에 대한 수치를 나타내고 있다.

 

> 결과를 보고 대출 수가 가장 높은 중요도를 나타내고 있어서 예상한 결과대로 나와서 참 다행이라는 생각을 했다.

 

 

---