[ECC DS 2주차] 2. Interactive Porto Insights - A plot.ly Tutorial

0. Introduction

• 운전자가 내년에 보험 청구를 시작할 확률을 예측하는 프로젝트

• Python 동적 시각화 라이브러리인 plot.ly를 활용

• 해당 노트북에서 활용한 plot.ly의 여러 기능들

  • 단순 가로 barplot: target 변수 분포를 검사하는 데 사용

  • 상관계수 heatmap: 여러 feature들 간의 상관 관계 확인

  -산점도 plot: RandomForest 및 GradientBoosting 모델에서 생성된 feature 중요도 비교

  • 수직 barplot: 여러 feature들을 대상으로 중요도가 높은 순서대로 내림차순 정렬

  • 3D 산점도 plot

📌 해당 노트북의 목표

1. 데이터 품질 점검: 모든 결측값/Null값(-1인 값) 시각화 및 평가

2. feature 검사 및 필터링

• 대상 변수에 대한 상관관계 및 형상 상호 정보 그림

• 이항, 범주형 및 기타 변수의 검사

• 학습 모델을 통한 feature 중요도 순위 매기기

• 학습 과정에 기반하여 feature들을 순위화 할 수 있도록 도와주는 n building Random Forest와 Gradient Boosted model

1. Import Libraries & Data Loading

plotly 결과 출력 관련

Reference

### 관련 라이브러리 import

import pandas as pd
import numpy as np
import seaborn as sns
import matplotlib.pyplot as plt
%matplotlib inline

import plotly.offline as py
py.init_notebook_mode(connected = True)
import plotly.graph_objs as go
import plotly.tools as tls

import plotly.io as pio
pio.renderers.default = "svg"

import chart_studio
chart_studio.tools.set_credentials_file(username = 'username', api_key = 'api_key')

import warnings
from collections import Counter
from sklearn.feature_selection import mutual_info_classif
warnings.filterwarnings('ignore')

### Colab Notebook에서 render 할 수 있도록 해주는 함수

def configure_plotly_browser_state():
  import IPython
  display(IPython.core.display.HTML('''
        <script src="/static/components/requirejs/require.js"></script>
        <script>
          requirejs.config({
            paths: {
              base: '/static/base',
              plotly: 'https://cdn.plot.ly/plotly-latest.min.js?noext',
            },
          });
        </script>
        '''))

### 데이터 불러오기

train = pd.read_csv("/content/drive/MyDrive/Colab Notebooks/ECC 48기 데과B/2주차/data/train.csv")
train.head()

	id	target	ps_ind_01	ps_ind_02_cat	ps_ind_03	ps_ind_04_cat	ps_ind_05_cat	ps_ind_06_bin	ps_ind_07_bin	ps_ind_08_bin	...	ps_calc_11	ps_calc_12	ps_calc_13	ps_calc_14	ps_calc_15_bin	ps_calc_16_bin	ps_calc_17_bin	ps_calc_18_bin	ps_calc_19_bin	ps_calc_20_bin
0	7	0	2	2	5	1	0	0	1	0	...	9	1	5	8	0	1	1	0	0	1
1	9	0	1	1	7	0	0	0	0	1	...	3	1	1	9	0	1	1	0	1	0
2	13	0	5	4	9	1	0	0	0	1	...	4	2	7	7	0	1	1	0	1	0
3	16	0	0	1	2	0	0	1	0	0	...	2	2	4	9	0	0	0	0	0	0
4	17	0	0	2	0	1	0	1	0	0	...	3	1	1	3	0	0	0	1	1	0

5 rows × 59 columns

### train 데이터의 행, 열 개수 파악하기

rows = train.shape[0]
columns = train.shape[1]
print("The train dataset contains {0} rows and {1} columns".format(rows, columns))

The train dataset contains 595212 rows and 59 columns

2. 데이터 확인하기(Data Quality Check)

2-1. Null값/결측치 확인

### Null값 확인
# 모든 열에 대해 isnull 검사를 실행하기 위해 any()를 두 번 적용

train.isnull().any().any()

False

• Null 값 검사에서 False를 반환하지만 사실 -1 또한 결측치를 의미한다는 점을 주의해야 함

### 결측치 확인
# 모든 -1을 null로 쉽게 대체할 수 있도록 값에 -1이 포함된 열 확인하기

train_copy = train
train_copy = train_copy.replace(-1, np.NaN) # -1 -> NaN

2-2. 결측치 시각화

• missingno 패키지 활용

import missingno as msno

# 열별 null 또는 결측값
msno.matrix(df = train_copy.iloc[:,2:39], figsize = (20, 14), color = (0.42, 0.1, 0.05))

• 수직의 어두운 빨간색 띠(누락되지 않은 데이터)에 겹쳐진 빈 흰색 띠는 특정 열의 데이터의 결측을 반영

• 해당 경우 전체 59개 feature 중 7개의 feature가 실제로 null 값을 포함하고 있음을 알 수 있음

  • 결측값이 있는 열은 실제로 총 13개

    • 결측 행렬 그림이 하나의 그림에 약 40개의 홀수 형상에만 적합할 수 있기 때문 -> 일부 열이 생략된 상태

    • 모든 null을 시각화 하려면 figsize 인수를 변경하고 데이터 프레임을 분할

• 제외된 7개의 컬럼:

  • ps_ind_05_cat

  • ps_reg_03

  • ps_car_03_cat

  • ps_car_05_cat

  • ps_car_07_cat

  • ps_car_09_cat

  • ps_car_14

• 대부분의 결측값은 _cat이 붙은 열에서 발생

• ps_reg_03, ps_car_03_cat, ps_car_05_cat 열의 경우 대부분의 값이 누락됨

  -> Null에 대해 -1을 전체적으로 대체하는 것은 그다지 좋아 보이지 x

2-3. Target 변수 확인하기

• target 값은 클래스/라벨/정답이라는 이름으로 제공되며, 학습된 함수가 일반화 및 예측을 잘 할 수 있기를 바람

• 데이터를 목표값에 가장 잘 매핑하는 함수를 학습하기 위해 주어진 데이터(우리의 경우 id 열을 제외한 모든 train 데이터)와 함께 지도 학습 모델에 새로운 보이지 않는 데이터와 함께 사용

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

data = [go.Bar(
            x = train["target"].value_counts().index.values,
            y = train["target"].value_counts().values,
            text ='Distribution of target variable'
    )]

layout = go.Layout(
    title='Target variable distribution'
)

fig = go.Figure(data = data, layout = layout)

py.iplot(fig, filename = 'basic-bar')

• target 변수가 굉장히 불균형한 분포를 가지고 있음을 확인할 수 있음

2-4. 데이터 타입(dtype) 확인

• train 데이터를 구성하는 데이터 유형 확인

  • 정수, 문자 또는 실수

• Python 시퀀스에서 고유한 유형의 카운트를 가져오기 위해 Collections 모듈을 가져올 때 Counter() 메서드를 활용

Counter(train.dtypes.values)

Counter({dtype('int64'): 49, dtype('float64'): 10})

• train data는 총 59개의 컬럼을 가지고 있음

  • 정수/실수 2개의 데이터 타입으로 구성됨

• 데이터에 _bin, _cat 및 _reg와 같은 접미사가 붙어있음

  • _bin: 이진형(binary) feature

  • _cat: 범주형 feature

  • _reg: 연속/순서형 feature

train_float = train.select_dtypes(include = ['float64'])
train_int = train.select_dtypes(include = ['int64'])

2-5. 상관계수 Plot

a) 실수형 feature들의 상관계수 시각화

• sns.heatmap() 활용

• pandas 데이터 프레임에는 Pearson 상관관계를 계산하는 corr() 방법이 내장되어 있음

colormap = plt.cm.magma
plt.figure(figsize = (16,12))
plt.title('Pearson correlation of continuous features', y = 1.05, size = 15)
sns.heatmap(train_float.corr(),linewidths = 0.1,vmax = 1.0, square = True, 
            cmap = colormap, linecolor = 'white', annot = True)

• 대부분의 feature들 간의 상관계수가 0임을 확인할 수 있음

• 양의 상관관계를 가지는 feature들의 쌍

  • (ps_reg_01, ps_reg_03)

  • (ps_reg_02, ps_reg_03)

  • (ps_car_12, ps_car_13)

  • (ps_car_13, ps_car_15)

b) 정수형 feature들의 상관계수 시각화

• Plotly 라이브러리를 사용하여 상관 관계 값의 열 지도를 대화식으로 생성

• 이전의 plotly plot과 마찬가지로 go()를 호출하여 heatmap 객체를 생성

  • x축과 y축은 열 이름을 사용

  • 상관 관계 값은 z축에서 제공

### 정적 heatmap

train_int = train_int.drop(["id", "target"], axis = 1)
colormap = plt.cm.bone
plt.figure(figsize = (21,16))
plt.title('Pearson correlation of categorical features', y = 1.05, size = 15)
sns.heatmap(train_int.corr(),linewidths = 0.1,vmax=1.0, square=True, cmap=colormap, linecolor='white', annot=False)

### 동적 heatmap 생성

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

data = [
    go.Heatmap(
        z= train_int.corr().values,
        x=train_int.columns.values,
        y=train_int.columns.values,
        colorscale='Viridis',
        reversescale = False,
        opacity = 1.0 )
]

layout = go.Layout(
    title='Pearson Correlation of Integer-type features',
    xaxis = dict(ticks='', nticks=36),
    yaxis = dict(ticks='' ),
    width = 900, height = 700)

fig = go.Figure(data=data, layout=layout)
py.iplot(fig, filename='labelled-heatmap')

• correlation plot에서 값이 0인 셀이 상당히 많이 관찰됨

  • 서로 선형 상관 관계가 전혀 없는 feature들이 많음

• 주성분 분석(PCA)과 같은 차원 축소 변환을 수행하려는 경우에는 어느 정도의 상관 관계가 필요

2-6. 상호 정보 Plot

• target 변수와 target 변수가 계산되는 해당 형상 사이의 상호 정보를 검사할 수 있게 해주는 유용한 도구

• 분류 문제의 경우 Sklearn의 mutual_info_classif() 메서드를 호출

  • k - 근접 이웃 거리의 엔트로피 추정에 기반한 비모수 방법에 의존

  • 두 랜덤 변수 사이의 의존성을 측정

    • 0(랜덤 변수가 서로 독립적인 경우)에서 더 높은 값(일부 종속성을 나타냄)까지 범위를 가짐

  • target의 정보가 feature 내에 얼마나 포함될 수 있는지 파악할 수 있음

mf = mutual_info_classif(train_float.values, train.target.values,
                         n_neighbors = 3, random_state = 17)
print(mf)

[0.02599971 0.00767074 0.00617141 0.01855302 0.00158483 0.00338192
 0.01668813 0.0134428  0.01334669 0.01348572]

2-7. 이진(binary) 변수 확인

• 이진 변수: 값으로 1 또는 0 중 하나만 사용하는 변수

• 이진 값을 포함하는 모든 열을 저장한 다음 다음과 같이 vertical barplot을 생성

bin_col = [col for col in train.columns if '_bin' in col] # 이진 변수 추출
zero_list = [] # 값이 0
one_list = [] # 값이 1
for col in bin_col:
    zero_list.append((train[col] == 0).sum())
    one_list.append((train[col] == 1).sum())

### 시각화

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

# 0
trace1 = go.Bar(
    x = bin_col,
    y = zero_list ,
    name = 'Zero count'
)
# 1
trace2 = go.Bar(
    x = bin_col,
    y = one_list,
    name = 'One count'
)

data = [trace1, trace2]
layout = go.Layout(
    barmode = 'stack',
    title = 'Count of 1 and 0 in binary variables'
)

fig = go.Figure(data = data, layout = layout)
py.iplot(fig, filename='stacked-bar')

• ps_ind_10_bin, ps_ind_11_bin, ps_ind_12_bin,ps_ind_13_bin에서 0의 값을 가지는 변수들의 비율이 높음을 확인할 수 있음

2-8. 범주형(categorical) 변수와 순서형(ordinal) 변수 확인

✅ 랜덤 포레스트를 통한 기능 중요도

• train 데이터를 RandomForestClassifier로 맞추고 모델이 훈련을 마친 후 feature들의 순위 파악

• 유용한 기능 중요도를 얻는 데 많은 매개 변수 조정이 필요하지 않고 불균형 feature에 대해서도 매우 강력한 앙상블 모델(Bootstrap 집계 하에 적용된 약한 의사 결정 트리 학습자의 앙상블)을 사용하는 빠른 방법

from sklearn.ensemble import RandomForestClassifier

rf = RandomForestClassifier(n_estimators = 150, max_depth = 8, min_samples_leaf = 4, 
                            max_features = 0.2, n_jobs = -1, random_state = 0)
rf.fit(train.drop(['id', 'target'],axis = 1), train.target)
features = train.drop(['id', 'target'],axis = 1).columns.values
print("----- Training Done -----")

----- Training Done -----

시각화

• RandomForest를 학습시킨 후 feature_importances_ 속성을 호출하여 feature 중요도 목록을 얻고 plotly의 산점도 plot을 시각화

• Scatter 명령을 실행하고 이전의 plotly plot에 따라 y축과 x축을 정의해야 함

  • marker 속성: 점의 크기, 색상 및 척도를 정의/제어

### 시각화(산점도)

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

trace = go.Scatter(
    y = rf.feature_importances_,
    x = features,
    mode = 'markers',
    marker = dict(
        sizemode = 'diameter',
        sizeref = 1,
        size = 13,
        #size= rf.feature_importances_,
        #color = np.random.randn(500), #set color equal to a variable
        color = rf.feature_importances_,
        colorscale='Portland',
        showscale=True
    ),
    text = features
)
data = [trace]

layout= go.Layout(
    autosize= True,
    title= 'Random Forest Feature Importance',
    hovermode= 'closest',
     xaxis= dict(
         ticklen= 5,
         showgrid=False,
        zeroline=False,
        showline=False
     ),
    yaxis=dict(
        title= 'Feature Importance',
        showgrid=False,
        zeroline=False,
        ticklen= 5,
        gridwidth= 2
    ),
    showlegend= False
)

fig = go.Figure(data=data, layout=layout)
py.iplot(fig,filename='scatter2010')

### 시각화(barplot)

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

x, y = (list(x) for x in zip(*sorted(zip(rf.feature_importances_, features), 
                                                            reverse = False)))
trace2 = go.Bar(
    x = x, # feature importance
    y = y, # feature name
    marker = dict(
        color = x,
        colorscale = 'Viridis',
        reversescale = True
    ),
    name = 'Random Forest Feature importance',
    orientation = 'h',
)

layout = dict(
    title = 'Barplot of Feature importances',
     width = 900, height = 2000,
    yaxis = dict(
        showgrid = False,
        showline = False,
        showticklabels = True,
      # domain=[0, 0.85],
    ))

fig1 = go.Figure(data=[trace2])
fig1['layout'].update(layout)

py.iplot(fig1, filename='plots')

의사 결정 트리 시각화

• 단순하게 하기 위해 Decisiontree(max_depth = 3)를 적합

• sklearn.export_graphviz에서 그래프 시각화 속성으로 내보내기를 사용

from sklearn import tree
from IPython.display import Image as PImage
from subprocess import check_call
from PIL import Image, ImageDraw, ImageFont
import re

decision_tree = tree.DecisionTreeClassifier(max_depth = 3)
decision_tree.fit(train.drop(['id', 'target'],axis=1), train.target)

# Export our trained model as a .dot file
with open("tree1.dot", 'w') as f:
     f = tree.export_graphviz(decision_tree,
                              out_file=f,
                              max_depth = 4,
                              impurity = False,
                              feature_names = train.drop(['id', 'target'],axis=1).columns.values,
                              class_names = ['No', 'Yes'],
                              rounded = True,
                              filled= True )
        
#Convert .dot to .png to allow display in web notebook
check_call(['dot','-Tpng','tree1.dot','-o','tree1.png'])

# Annotating chart with PIL
img = Image.open("tree1.png")
draw = ImageDraw.Draw(img)
img.save('sample-out.png')
PImage("sample-out.png",)

✅ Gradient Boosting을 통한 기능 중요도

• 각 단계에서 손실 함수의 기울기(기본적으로 Sklearn 구현의 편차로 설정됨)에 적합한 전진 단계별 방식으로 진행됨

from sklearn.ensemble import GradientBoostingClassifier

gb = GradientBoostingClassifier(n_estimators = 100, max_depth = 3, min_samples_leaf = 4, 
                                max_features = 0.2, random_state = 0)
gb.fit(train.drop(['id', 'target'],axis = 1), train.target)
features = train.drop(['id', 'target'],axis = 1).columns.values
print("----- Training Done -----")

----- Training Done -----

### 시각화(산점도)

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

trace = go.Scatter(
    y = gb.feature_importances_,
    x = features,
    mode='markers',
    marker=dict(
        sizemode = 'diameter',
        sizeref = 1,
        size = 13,
        #size= rf.feature_importances_,
        #color = np.random.randn(500), #set color equal to a variable
        color = gb.feature_importances_,
        colorscale='Portland',
        showscale=True
    ),
    text = features
)
data = [trace]

layout= go.Layout(
    autosize= True,
    title= 'Gradient Boosting Machine Feature Importance',
    hovermode= 'closest',
     xaxis= dict(
         ticklen= 5,
         showgrid=False,
        zeroline=False,
        showline=False
     ),
    yaxis=dict(
        title= 'Feature Importance',
        showgrid=False,
        zeroline=False,
        ticklen= 5,
        gridwidth= 2
    ),
    showlegend= False
)

fig = go.Figure(data=data, layout=layout)
py.iplot(fig,filename='scatter2010')

### 시각화(barplot)

configure_plotly_browser_state() # 매 그래프 출력 시 호출해준다.

x, y = (list(x) for x in zip(*sorted(zip(gb.feature_importances_, features), 
                                                            reverse = False)))
trace2 = go.Bar(
    x=x ,
    y=y,
    marker=dict(
        color=x,
        colorscale = 'Viridis',
        reversescale = True
    ),
    name='Gradient Boosting Classifer Feature importance',
    orientation='h',
)

layout = dict(
    title='Barplot of Feature importances',
     width = 900, height = 2000,
    yaxis=dict(
        showgrid=False,
        showline=False,
        showticklabels=True,
    ))

fig1 = go.Figure(data=[trace2])
fig1['layout'].update(layout)
py.iplot(fig1, filename='plots')

• RandomForest와 GradientBoost 학습 모델에서 모두 ps_car_13 feature를 가장 중요한 특징으로 선택함

3. 결론

• Null 값과 데이터 품질을 검사하고, feature들 간의 선형 상관관계를 조사하여 Porto Seguro 데이터 세트를 상당히 광범위하게 검사함

• 일부 feature의 분포를 검사하고 모델이 중요하다고 생각하는 기능을 식별하기 위해 몇 가지 학습 모델(RandomForest 및 GradientBoosting 분류기)을 구현