[ECC DS 2주차] 1. Data Preparation & Exploration

0. Introduction

• PorteSeguro competition을 위해 좋은 insight를 얻는 것을 목표로 함

• 모델링을 위해 데이터를 준비하는 방법들

• 주요 섹션

  • 데이터 시각화

  • 메타데이터 정의

  • 기술통계량

  • 불균형 클래스 처리하기

  • 데이터 quality 확인

  • Exploratory data visualization

  • Feature engineering

  • Feature 선택

  • Feature scaling

1. Loading packages

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

from sklearn.impute import SimpleImputer # version issue
from sklearn.preprocessing import PolynomialFeatures
from sklearn.preprocessing import StandardScaler
from sklearn.feature_selection import VarianceThreshold
from sklearn.feature_selection import SelectFromModel
from sklearn.utils import shuffle
from sklearn.ensemble import RandomForestClassifier

pd.set_option('display.max_columns', 100)

2. Loading data

train = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/ECC 48기 데과B/2주차/data/train.csv')
test = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/ECC 48기 데과B/2주차/data/test.csv')

3. Data at first sight

• 대회 데이터 설명 발췌문

  • 유사한 그룹에 속하는 feature들은 feature name에 태깅되어 있음(ex> ind, reg, car, calc)

  • feature명에는 binary feature를 나타내는 postfix 빈과 범주형 feature를 나타내기 위한 cat이 포함됨

    • 이러한 지정이 없는 feature는 연속형 또는 순서형 feature이다.

  • -1: 결측치(missing value)

• target 열: 해당 정책 소유자에 대해 클레임이 제기되었는지의 여부

∎ 학습용 데이터

train.head()

	id	target	ps_ind_01	ps_ind_02_cat	ps_ind_03	ps_ind_04_cat	ps_ind_05_cat	ps_ind_06_bin	ps_ind_07_bin	ps_ind_08_bin	ps_ind_09_bin	ps_ind_10_bin	ps_ind_11_bin	ps_ind_12_bin	ps_ind_13_bin	ps_ind_14	ps_ind_15	ps_ind_16_bin	ps_ind_17_bin	ps_ind_18_bin	ps_reg_01	ps_reg_02	ps_reg_03	ps_car_01_cat	ps_car_02_cat	ps_car_03_cat	ps_car_04_cat	ps_car_05_cat	ps_car_06_cat	ps_car_07_cat	ps_car_08_cat	ps_car_09_cat	ps_car_10_cat	ps_car_11_cat	ps_car_11	ps_car_12	ps_car_13	ps_car_14	ps_car_15	ps_calc_01	ps_calc_02	ps_calc_03	ps_calc_04	ps_calc_05	ps_calc_06	ps_calc_07	ps_calc_08	ps_calc_09	ps_calc_10	ps_calc_11	ps_calc_12	ps_calc_13	ps_calc_14	ps_calc_15_bin	ps_calc_16_bin	ps_calc_17_bin	ps_calc_18_bin	ps_calc_19_bin	ps_calc_20_bin
0	7	0	2	2	5	1	0	0	1	0	0	0	0	0	0	0	11	0	1	0	0.7	0.2	0.718070	10	1	-1	0	1	4	1	0	0	1	12	2	0.400000	0.883679	0.370810	3.605551	0.6	0.5	0.2	3	1	10	1	10	1	5	9	1	5	8	0	1	1	0	0	1
1	9	0	1	1	7	0	0	0	0	1	0	0	0	0	0	0	3	0	0	1	0.8	0.4	0.766078	11	1	-1	0	-1	11	1	1	2	1	19	3	0.316228	0.618817	0.388716	2.449490	0.3	0.1	0.3	2	1	9	5	8	1	7	3	1	1	9	0	1	1	0	1	0
2	13	0	5	4	9	1	0	0	0	1	0	0	0	0	0	0	12	1	0	0	0.0	0.0	-1.000000	7	1	-1	0	-1	14	1	1	2	1	60	1	0.316228	0.641586	0.347275	3.316625	0.5	0.7	0.1	2	2	9	1	8	2	7	4	2	7	7	0	1	1	0	1	0
3	16	0	0	1	2	0	0	1	0	0	0	0	0	0	0	0	8	1	0	0	0.9	0.2	0.580948	7	1	0	0	1	11	1	1	3	1	104	1	0.374166	0.542949	0.294958	2.000000	0.6	0.9	0.1	2	4	7	1	8	4	2	2	2	4	9	0	0	0	0	0	0
4	17	0	0	2	0	1	0	1	0	0	0	0	0	0	0	0	9	1	0	0	0.7	0.6	0.840759	11	1	-1	0	-1	14	1	1	2	1	82	3	0.316070	0.565832	0.365103	2.000000	0.4	0.6	0.0	2	2	6	3	10	2	12	3	1	1	3	0	0	0	1	1	0

train.tail()

	id	target	ps_ind_01	ps_ind_02_cat	ps_ind_03	ps_ind_04_cat	ps_ind_05_cat	ps_ind_06_bin	ps_ind_07_bin	ps_ind_08_bin	ps_ind_09_bin	ps_ind_10_bin	ps_ind_11_bin	ps_ind_12_bin	ps_ind_13_bin	ps_ind_14	ps_ind_15	ps_ind_16_bin	ps_ind_17_bin	ps_ind_18_bin	ps_reg_01	ps_reg_02	ps_reg_03	ps_car_01_cat	ps_car_02_cat	ps_car_03_cat	ps_car_04_cat	ps_car_05_cat	ps_car_06_cat	ps_car_07_cat	ps_car_08_cat	ps_car_09_cat	ps_car_10_cat	ps_car_11_cat	ps_car_11	ps_car_12	ps_car_13	ps_car_14	ps_car_15	ps_calc_01	ps_calc_02	ps_calc_03	ps_calc_04	ps_calc_05	ps_calc_06	ps_calc_07	ps_calc_08	ps_calc_09	ps_calc_10	ps_calc_11	ps_calc_12	ps_calc_13	ps_calc_14	ps_calc_15_bin	ps_calc_16_bin	ps_calc_17_bin	ps_calc_18_bin	ps_calc_19_bin	ps_calc_20_bin
595207	1488013	0	3	1	10	0	0	0	0	0	1	0	0	0	0	0	13	1	0	0	0.5	0.3	0.692820	10	1	-1	0	1	1	1	1	0	1	31	3	0.374166	0.684631	0.385487	2.645751	0.4	0.5	0.3	3	0	9	0	9	1	12	4	1	9	6	0	1	1	0	1	1
595208	1488016	0	5	1	3	0	0	0	0	0	1	0	0	0	0	0	6	1	0	0	0.9	0.7	1.382027	9	1	-1	0	-1	15	0	0	2	1	63	2	0.387298	0.972145	-1.000000	3.605551	0.2	0.2	0.0	2	4	8	6	8	2	12	4	1	3	8	1	0	1	0	1	1
595209	1488017	0	1	1	10	0	0	1	0	0	0	0	0	0	0	0	12	1	0	0	0.9	0.2	0.659071	7	1	-1	0	-1	1	1	1	2	1	31	3	0.397492	0.596373	0.398748	1.732051	0.4	0.0	0.3	3	2	7	4	8	0	10	3	2	2	6	0	0	1	0	0	0
595210	1488021	0	5	2	3	1	0	0	0	1	0	0	0	0	0	0	12	1	0	0	0.9	0.4	0.698212	11	1	-1	0	-1	11	1	1	2	1	101	3	0.374166	0.764434	0.384968	3.162278	0.0	0.7	0.0	4	0	9	4	9	2	11	4	1	4	2	0	1	1	1	0	0
595211	1488027	0	0	1	8	0	0	1	0	0	0	0	0	0	0	0	7	1	0	0	0.1	0.2	-1.000000	7	0	-1	0	-1	0	1	0	2	1	34	2	0.400000	0.932649	0.378021	3.741657	0.4	0.0	0.5	2	3	10	4	10	2	5	4	4	3	8	0	1	0	0	0	0

• 구성 요소

  • 이항 변수(binary variables) – yes or no

  • 카테고리의 값이 정수인 카테고리형 변수

  • 정수 또는 부동 소수점 값이 있는 기타 변수

  • -1(-1은 결측치를 의미)을 가지는 변수들

  • target 변수와 ID 변수

### rows, cols 수 확인

train.shape

(595212, 59)

• 59개의 변수와 595212개의 관측치가 존재함

### 중복된 데이터 제거

train.drop_duplicates()
train.shape

(595212, 59)

### 테스트 데이터의 형태 확인

test.shape

(892816, 58)

• 1개의 변수가 없음

  • 이것은 target 변수

  ~(당연히 테스트 데이터에는 없어야지..)~

• 나중에 14개의 범주형 변수들에 대한 dummy 변수를 만들 수 있음

  • 빈 변수는 이미 이항 변수이므로 중복값 제거가 필요하지 않음

### 데이터 정보 확인

train.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 595212 entries, 0 to 595211
Data columns (total 59 columns):
 #   Column          Non-Null Count   Dtype  
---  ------          --------------   -----  
 0   id              595212 non-null  int64  
 1   target          595212 non-null  int64  
 2   ps_ind_01       595212 non-null  int64  
 3   ps_ind_02_cat   595212 non-null  int64  
 4   ps_ind_03       595212 non-null  int64  
 5   ps_ind_04_cat   595212 non-null  int64  
 6   ps_ind_05_cat   595212 non-null  int64  
 7   ps_ind_06_bin   595212 non-null  int64  
 8   ps_ind_07_bin   595212 non-null  int64  
 9   ps_ind_08_bin   595212 non-null  int64  
 10  ps_ind_09_bin   595212 non-null  int64  
 11  ps_ind_10_bin   595212 non-null  int64  
 12  ps_ind_11_bin   595212 non-null  int64  
 13  ps_ind_12_bin   595212 non-null  int64  
 14  ps_ind_13_bin   595212 non-null  int64  
 15  ps_ind_14       595212 non-null  int64  
 16  ps_ind_15       595212 non-null  int64  
 17  ps_ind_16_bin   595212 non-null  int64  
 18  ps_ind_17_bin   595212 non-null  int64  
 19  ps_ind_18_bin   595212 non-null  int64  
 20  ps_reg_01       595212 non-null  float64
 21  ps_reg_02       595212 non-null  float64
 22  ps_reg_03       595212 non-null  float64
 23  ps_car_01_cat   595212 non-null  int64  
 24  ps_car_02_cat   595212 non-null  int64  
 25  ps_car_03_cat   595212 non-null  int64  
 26  ps_car_04_cat   595212 non-null  int64  
 27  ps_car_05_cat   595212 non-null  int64  
 28  ps_car_06_cat   595212 non-null  int64  
 29  ps_car_07_cat   595212 non-null  int64  
 30  ps_car_08_cat   595212 non-null  int64  
 31  ps_car_09_cat   595212 non-null  int64  
 32  ps_car_10_cat   595212 non-null  int64  
 33  ps_car_11_cat   595212 non-null  int64  
 34  ps_car_11       595212 non-null  int64  
 35  ps_car_12       595212 non-null  float64
 36  ps_car_13       595212 non-null  float64
 37  ps_car_14       595212 non-null  float64
 38  ps_car_15       595212 non-null  float64
 39  ps_calc_01      595212 non-null  float64
 40  ps_calc_02      595212 non-null  float64
 41  ps_calc_03      595212 non-null  float64
 42  ps_calc_04      595212 non-null  int64  
 43  ps_calc_05      595212 non-null  int64  
 44  ps_calc_06      595212 non-null  int64  
 45  ps_calc_07      595212 non-null  int64  
 46  ps_calc_08      595212 non-null  int64  
 47  ps_calc_09      595212 non-null  int64  
 48  ps_calc_10      595212 non-null  int64  
 49  ps_calc_11      595212 non-null  int64  
 50  ps_calc_12      595212 non-null  int64  
 51  ps_calc_13      595212 non-null  int64  
 52  ps_calc_14      595212 non-null  int64  
 53  ps_calc_15_bin  595212 non-null  int64  
 54  ps_calc_16_bin  595212 non-null  int64  
 55  ps_calc_17_bin  595212 non-null  int64  
 56  ps_calc_18_bin  595212 non-null  int64  
 57  ps_calc_19_bin  595212 non-null  int64  
 58  ps_calc_20_bin  595212 non-null  int64  
dtypes: float64(10), int64(49)
memory usage: 267.9 MB

• data type이 주로 정수형(integer) 또는 실수형(float)임을 확인할 수 있음

• 현재 데이터에 null 값이 존재하지 x

  • 결측치가 -1로 대체되었기 때문

4. Metadata

• 데이터 관리를 용이하게 하기 위해 변수에 대한 메타 정보를 데이터 프레임에 저장

• 분석, 시각화, 모델링 등에 사용할 변수를 선택하려는 경우에 유용

• 저장할 내용들:

  • role: input, ID, target

  • level: nominal, interval, ordinal, binary

  • keep: True or False

  • dtype: int, float, str

data = []

for f in train.columns:

    ### role
    if f == 'target':
        role = 'target'
    elif f == 'id':
        role = 'id'
    else:
        role = 'input'
         
    ### level
    if 'bin' in f or f == 'target':
        level = 'binary'
    elif 'cat' in f or f == 'id':
        level = 'nominal'
    elif train[f].dtype == float:
        level = 'interval'
    elif train[f].dtype == int:
        level = 'ordinal'
        
    # Initialize keep to True for all variables except for id
    keep = True
    if f == 'id':
        keep = False
    
    ### dtype 
    dtype = train[f].dtype
    
    # Creating a Dict that contains all the metadata for the variable
    f_dict = {
        'varname': f,
        'role': role,
        'level': level,
        'keep': keep,
        'dtype': dtype
    }
    data.append(f_dict)

meta = pd.DataFrame(data, columns=['varname', 'role', 'level', 'keep', 'dtype'])
meta.set_index('varname', inplace=True)

meta

	role	level	keep	dtype
varname
id	id	nominal	False	int64
target	target	binary	True	int64
ps_ind_01	input	ordinal	True	int64
ps_ind_02_cat	input	nominal	True	int64
ps_ind_03	input	ordinal	True	int64
ps_ind_04_cat	input	nominal	True	int64
ps_ind_05_cat	input	nominal	True	int64
ps_ind_06_bin	input	binary	True	int64
ps_ind_07_bin	input	binary	True	int64
ps_ind_08_bin	input	binary	True	int64
ps_ind_09_bin	input	binary	True	int64
ps_ind_10_bin	input	binary	True	int64
ps_ind_11_bin	input	binary	True	int64
ps_ind_12_bin	input	binary	True	int64
ps_ind_13_bin	input	binary	True	int64
ps_ind_14	input	ordinal	True	int64
ps_ind_15	input	ordinal	True	int64
ps_ind_16_bin	input	binary	True	int64
ps_ind_17_bin	input	binary	True	int64
ps_ind_18_bin	input	binary	True	int64
ps_reg_01	input	interval	True	float64
ps_reg_02	input	interval	True	float64
ps_reg_03	input	interval	True	float64
ps_car_01_cat	input	nominal	True	int64
ps_car_02_cat	input	nominal	True	int64
ps_car_03_cat	input	nominal	True	int64
ps_car_04_cat	input	nominal	True	int64
ps_car_05_cat	input	nominal	True	int64
ps_car_06_cat	input	nominal	True	int64
ps_car_07_cat	input	nominal	True	int64
ps_car_08_cat	input	nominal	True	int64
ps_car_09_cat	input	nominal	True	int64
ps_car_10_cat	input	nominal	True	int64
ps_car_11_cat	input	nominal	True	int64
ps_car_11	input	ordinal	True	int64
ps_car_12	input	interval	True	float64
ps_car_13	input	interval	True	float64
ps_car_14	input	interval	True	float64
ps_car_15	input	interval	True	float64
ps_calc_01	input	interval	True	float64
ps_calc_02	input	interval	True	float64
ps_calc_03	input	interval	True	float64
ps_calc_04	input	ordinal	True	int64
ps_calc_05	input	ordinal	True	int64
ps_calc_06	input	ordinal	True	int64
ps_calc_07	input	ordinal	True	int64
ps_calc_08	input	ordinal	True	int64
ps_calc_09	input	ordinal	True	int64
ps_calc_10	input	ordinal	True	int64
ps_calc_11	input	ordinal	True	int64
ps_calc_12	input	ordinal	True	int64
ps_calc_13	input	ordinal	True	int64
ps_calc_14	input	ordinal	True	int64
ps_calc_15_bin	input	binary	True	int64
ps_calc_16_bin	input	binary	True	int64
ps_calc_17_bin	input	binary	True	int64
ps_calc_18_bin	input	binary	True	int64
ps_calc_19_bin	input	binary	True	int64
ps_calc_20_bin	input	binary	True	int64

### 삭제되지 않은 모든 nominal variable 추출(예시)

meta[(meta.level == 'nominal') & (meta.keep)].index

Index(['ps_ind_02_cat', 'ps_ind_04_cat', 'ps_ind_05_cat', 'ps_car_01_cat',
       'ps_car_02_cat', 'ps_car_03_cat', 'ps_car_04_cat', 'ps_car_05_cat',
       'ps_car_06_cat', 'ps_car_07_cat', 'ps_car_08_cat', 'ps_car_09_cat',
       'ps_car_10_cat', 'ps_car_11_cat'],
      dtype='object', name='varname')

### role과 level 별 변수의 수

pd.DataFrame({'count' : meta.groupby(['role', 'level'])['role'].size()}).reset_index()

	role	level	count
0	id	nominal	1
1	input	binary	17
2	input	interval	10
3	input	nominal	14
4	input	ordinal	16
5	target	binary	1

5. Descriptive statistics

• 데이터 프레임에 기술 방법(describe method)을 적용할 수 있음

• 그러나 범주형 변수와 id 변수에 대한 평균, 표준, …을 계산하는 것은 그다지 의미가 없음

  • 범주형 변수 -> 나중에 시각적으로 살펴보자.

• meta file을 통해 기술통계량을 구할 변수를 쉽게 선택 가능

  • 명확하게 하기 위해 데이터 타입별로 작업 수행

5-1. Interval 타입

v = meta[(meta.level == 'interval') & (meta.keep)].index
train[v].describe()

	ps_reg_01	ps_reg_02	ps_reg_03	ps_car_12	ps_car_13	ps_car_14	ps_car_15	ps_calc_01	ps_calc_02	ps_calc_03
count	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000
mean	0.610991	0.439184	0.551102	0.379945	0.813265	0.276256	3.065899	0.449756	0.449589	0.449849
std	0.287643	0.404264	0.793506	0.058327	0.224588	0.357154	0.731366	0.287198	0.286893	0.287153
min	0.000000	0.000000	-1.000000	-1.000000	0.250619	-1.000000	0.000000	0.000000	0.000000	0.000000
25%	0.400000	0.200000	0.525000	0.316228	0.670867	0.333167	2.828427	0.200000	0.200000	0.200000
50%	0.700000	0.300000	0.720677	0.374166	0.765811	0.368782	3.316625	0.500000	0.400000	0.500000
75%	0.900000	0.600000	1.000000	0.400000	0.906190	0.396485	3.605551	0.700000	0.700000	0.700000
max	0.900000	1.800000	4.037945	1.264911	3.720626	0.636396	3.741657	0.900000	0.900000	0.900000

✅ reg 변수

• ps_reg_03에만 결측값이 있음

• 변수 간의 범위(최소 ~ 최대값)가 다름

  • 스케일링(ex> StandardScaler)을 적용할 수 있음

  • 사용할 분류기(classifier)에 따라 다름

✅ car 변수

• ps_car_12과 ps_car_15에결측치 존재

• 스케일링 적용 가능

✅ calc 변수

• 결측치가 존재하지 x

• 세 변수 모두 분포가 매우 유사함

전체적으로 interval 변수들의 범위가 다소 작다는 것을 확인할 수 있음

• 데이터를 익명화하기 위해 어떤 변환(ex> log transformation)이 이미 적용된 것은 아닐까?

5-2. Ordinal 변수

v = meta[(meta.level == 'ordinal') & (meta.keep)].index
train[v].describe()

	ps_ind_01	ps_ind_03	ps_ind_14	ps_ind_15	ps_car_11	ps_calc_04	ps_calc_05	ps_calc_06	ps_calc_07	ps_calc_08	ps_calc_09	ps_calc_10	ps_calc_11	ps_calc_12	ps_calc_13	ps_calc_14
count	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000
mean	1.900378	4.423318	0.012451	7.299922	2.346072	2.372081	1.885886	7.689445	3.005823	9.225904	2.339034	8.433590	5.441382	1.441918	2.872288	7.539026
std	1.983789	2.699902	0.127545	3.546042	0.832548	1.117219	1.134927	1.334312	1.414564	1.459672	1.246949	2.904597	2.332871	1.202963	1.694887	2.746652
min	0.000000	0.000000	0.000000	0.000000	-1.000000	0.000000	0.000000	0.000000	0.000000	2.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000
25%	0.000000	2.000000	0.000000	5.000000	2.000000	2.000000	1.000000	7.000000	2.000000	8.000000	1.000000	6.000000	4.000000	1.000000	2.000000	6.000000
50%	1.000000	4.000000	0.000000	7.000000	3.000000	2.000000	2.000000	8.000000	3.000000	9.000000	2.000000	8.000000	5.000000	1.000000	3.000000	7.000000
75%	3.000000	6.000000	0.000000	10.000000	3.000000	3.000000	3.000000	9.000000	4.000000	10.000000	3.000000	10.000000	7.000000	2.000000	4.000000	9.000000
max	7.000000	11.000000	4.000000	13.000000	3.000000	5.000000	6.000000	10.000000	9.000000	12.000000	7.000000	25.000000	19.000000	10.000000	13.000000	23.000000

• 오직 ps_car_11에서 결측치가 존재함

• 다른 범위를 가지는 것에 대해 스케일링 적용 가능

5-3. Binary 변수

v = meta[(meta.level == 'binary') & (meta.keep)].index
train[v].describe()

	target	ps_ind_06_bin	ps_ind_07_bin	ps_ind_08_bin	ps_ind_09_bin	ps_ind_10_bin	ps_ind_11_bin	ps_ind_12_bin	ps_ind_13_bin	ps_ind_16_bin	ps_ind_17_bin	ps_ind_18_bin	ps_calc_15_bin	ps_calc_16_bin	ps_calc_17_bin	ps_calc_18_bin	ps_calc_19_bin	ps_calc_20_bin
count	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000	595212.000000
mean	0.036448	0.393742	0.257033	0.163921	0.185304	0.000373	0.001692	0.009439	0.000948	0.660823	0.121081	0.153446	0.122427	0.627840	0.554182	0.287182	0.349024	0.153318
std	0.187401	0.488579	0.436998	0.370205	0.388544	0.019309	0.041097	0.096693	0.030768	0.473430	0.326222	0.360417	0.327779	0.483381	0.497056	0.452447	0.476662	0.360295
min	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000
25%	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000
50%	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	1.000000	0.000000	0.000000	0.000000	1.000000	1.000000	0.000000	0.000000	0.000000
75%	0.000000	1.000000	1.000000	0.000000	0.000000	0.000000	0.000000	0.000000	0.000000	1.000000	0.000000	0.000000	0.000000	1.000000	1.000000	1.000000	1.000000	0.000000
max	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000	1.000000

• train 데이터에서 1(= true)의 비율은 3.645% -> 매우 불균형한 데이터

• 대부분의 변수들에 대한 값이 0임을 확인할 수 있음

6. Handling imbalanced classes

• target = 1인 레코드의 비율은 target = 0보다 훨씬 적음 -> imbalanced data

• 정확도는 높지만 잡음이 많은 모델로 이어질 수 있음

• 해결 전략:

  • target = 1 oversampling

  • target = 0 undersampling

현재 train set이 상당히 크기에, undersampling 수행

📚참고자료

불균형 데이터 (imbalanced data) 처리를 위한 샘플링 기법

desired_apriori = 0.10 

### target 변수의 값마다 index 가져오기
idx_0 = train[train.target == 0].index # False
idx_1 = train[train.target == 1].index # True

### target 분포 확인
nb_0 = len(train.loc[idx_0])
nb_1 = len(train.loc[idx_1])

### 추가한 코드
print(nb_0)
print(nb_1)

573518
21694

• target 데이터가 굉장히 불균형한(imbalanced) 분포를 가지고 있음을 확인할 수 있다.

### Undersampling 시킬 비율 선택

undersampling_rate = ((1 - desired_apriori)*nb_1) / (nb_0*desired_apriori) 
# undersampling 시켜야 할 비율 -> 해당 비율만큼 target = 0인 것들이 target = 1로 변경
undersampled_nb_0 = int(undersampling_rate * nb_0)

print('Rate to undersample records with target = 0: {}'.format(undersampling_rate))
print('Number of records with target = 0 after undersampling: {}'.format(undersampled_nb_0))

Rate to undersample records with target = 0: 0.34043569687437886
Number of records with target = 0 after undersampling: 195246

• 불균형 정도가 많이 감소됨을 확인할 수 있음

  (96% -> 33%)

### Undersampling 수행
# RandomSampling 방법을 채택
undersampled_idx = shuffle(idx_0, random_state = 37, n_samples = undersampled_nb_0) 
# 실행 시마다 결과가 달라지는 것을 방지하기 위해 random_state 사용

# 나머지 인덱스로 list 구성 => target = 1의 index
idx_list = list(undersampled_idx) + list(idx_1)

# undersampling된 데이터 반환(최종 데이터)
train = train.loc[idx_list].reset_index(drop=True)

7. Data Quality Checks

7-1. 결측치 확인

• 결측치는 -1로 표기되어 있음

vars_with_missing = [] # 결측치를 저장할 list

for f in train.columns: # 각 column별로
    missings = train[train[f] == -1][f].count()
    if missings > 0:
        vars_with_missing.append(f)
        
        missings_perc = missings / train.shape[0] # 각 컬럼별 결측치의 비율
        print('Variable {} has {} records ({:.2%}) with missing values'.format(f, missings, missings_perc))

print()
# 전체 결측치 개수        
print('In total, there are {} variables with missing values'.format(len(vars_with_missing)))

Variable ps_ind_02_cat has 103 records (0.05%) with missing values
Variable ps_ind_04_cat has 51 records (0.02%) with missing values
Variable ps_ind_05_cat has 2256 records (1.04%) with missing values
Variable ps_reg_03 has 38580 records (17.78%) with missing values
Variable ps_car_01_cat has 62 records (0.03%) with missing values
Variable ps_car_02_cat has 2 records (0.00%) with missing values
Variable ps_car_03_cat has 148367 records (68.39%) with missing values
Variable ps_car_05_cat has 96026 records (44.26%) with missing values
Variable ps_car_07_cat has 4431 records (2.04%) with missing values
Variable ps_car_09_cat has 230 records (0.11%) with missing values
Variable ps_car_11 has 1 records (0.00%) with missing values
Variable ps_car_14 has 15726 records (7.25%) with missing values

In total, there are 12 variables with missing values

• ps_car_03_cat 및 ps_car_05_cat에는 결측값이 있는 레코드의 비율이 많음

  • 해당 변수 제거

• 결측값이 있는 다른 범주형 변수의 경우 결측값 -1은 그대로 둘 수 있음

• ps_reg_03(연속)는 전체 18% 데이터가 결측치

  • 평균으로 대체

• ps_car_11(순서)에는 결측값이 있는 레코드가 5개만 있음

  • 최빈값으로 대체

• ps_car_12(연속)에는 결측값이 있는 레코드가 1개만 있음

  • 평균으로 대체

• ps_car_14(연속)에는 모든 레코드의 7%에 대한 결측값이 있음

  • 평균으로 대체

### 결측값이 너무 많은 변수 삭제하기
vars_to_drop = ['ps_car_03_cat', 'ps_car_05_cat']
train.drop(vars_to_drop, inplace = True, axis = 1)
meta.loc[(vars_to_drop),'keep'] = False  # 메타데이터 변경하기

### 데이터 가공 - 결측치 채워넣기
mean_imp = SimpleImputer(missing_values = -1, strategy = 'mean')
mode_imp = SimpleImputer(missing_values = -1, strategy = 'most_frequent')
train['ps_reg_03'] = mean_imp.fit_transform(train[['ps_reg_03']]).ravel()
train['ps_car_12'] = mean_imp.fit_transform(train[['ps_car_12']]).ravel()
train['ps_car_14'] = mean_imp.fit_transform(train[['ps_car_14']]).ravel()
train['ps_car_11'] = mode_imp.fit_transform(train[['ps_car_11']]).ravel()

7-2. 범주형 변수의 카디널리티(cardinality) 확인

• 카디널리티(cardinality, 기수): 변수에 포함된 서로 다른 값의 수

• 나중에 범주형 변수에서 dummy 변수를 만들 것이기 때문에, 다른 값을 가진 변수의 개수를 확인할 필요가 있음

  • 해당 변수는 많은 dummy 변수를 초래하므로 다르게 처리해야 함

v = meta[(meta.level == 'nominal') & (meta.keep)].index

for f in v:
    dist_values = train[f].value_counts().shape[0]
    print('Variable {} has {} distinct values'.format(f, dist_values))

Variable ps_ind_02_cat has 5 distinct values
Variable ps_ind_04_cat has 3 distinct values
Variable ps_ind_05_cat has 8 distinct values
Variable ps_car_01_cat has 13 distinct values
Variable ps_car_02_cat has 3 distinct values
Variable ps_car_04_cat has 10 distinct values
Variable ps_car_06_cat has 18 distinct values
Variable ps_car_07_cat has 3 distinct values
Variable ps_car_08_cat has 2 distinct values
Variable ps_car_09_cat has 6 distinct values
Variable ps_car_10_cat has 3 distinct values
Variable ps_car_11_cat has 104 distinct values

• ps_car_11_cat가 많은 다양한 변수를 가지고 있음

• 평활화(Smoothing)는 Danielle Micci-Bareca에 의해 다음 논문과 같이 계산됨

  • https://kaggle2.blob.core.windows.net/forum-message-attachments/225952/7441/high%20cardinality%20categoricals.pdf

• parameters>

  • trn_series : 범주형 변수를 pd.Series로 훈련(train)

  • tst_series: 범주형 변수를 pd.Series로 평가(test)

  • target: target data를 pd.Series 형으로

  • min_samples_leaf(int):범주의 특성을 설명해 줄 수 있는 최소한의 표본

  • smoothing(int): 범주형 평균과 이전 평균의 균형을 맞추기 위한 평활(smoothing) 효과 작용

def add_noise(series, noise_level):
    return series * (1 + noise_level * np.random.randn(len(series)))

def target_encode(trn_series = None, 
                  tst_series = None, 
                  target = None, 
                  min_samples_leaf = 1, 
                  smoothing = 1,
                  noise_level = 0):
   
    assert len(trn_series) == len(target)
    assert trn_series.name == tst_series.name

    '''[assert 문]
    -  어떤 조건이 참임을 확고히 하는 것
    -  해당 조건이 거짓이면 에러 상황 => 실행을 계속하지 못하게 함
    '''
    
    temp = pd.concat([trn_series, target], axis = 1)
    
    ### target 변수의 평균
    averages = temp.groupby(by=trn_series.name)[target.name].agg(["mean", "count"])
    
    ### 평활화 정도 계산
    smoothing = 1 / (1 + np.exp(-(averages["count"] - min_samples_leaf) / smoothing))

    ### 모든 target 변수에 평활화 함수 적용하기
    prior = target.mean()
    # 카운트가 클수록 full_avg가 적게 고려됨
    averages[target.name] = prior * (1 - smoothing) + averages["mean"] * smoothing
    averages.drop(["mean", "count"], axis = 1, inplace = True)
    
    ### train, test set에 평활화 적용
    ft_trn_series = pd.merge(
        trn_series.to_frame(trn_series.name),
        averages.reset_index().rename(columns = {'index': target.name, target.name: 'average'}),
        on = trn_series.name,
        how = 'left')['average'].rename(trn_series.name + '_mean').fillna(prior)
    # 인덱스 초기화(재설정)
    ft_trn_series.index = trn_series.index 
    
    ft_tst_series = pd.merge(
        tst_series.to_frame(tst_series.name),
        averages.reset_index().rename(columns={'index': target.name, target.name: 'average'}),
        on=tst_series.name,
        how='left')['average'].rename(trn_series.name + '_mean').fillna(prior)
    # 인덱스 초기화(재설정)    
    ft_tst_series.index = tst_series.index
    
    return add_noise(ft_trn_series, noise_level), add_noise(ft_tst_series, noise_level)

### 범주형 변수 encoding
# 범주형 -> 수치형 변수(dummy 변수)

train_encoded, test_encoded = target_encode(train["ps_car_11_cat"], 
                             test["ps_car_11_cat"], 
                             target = train.target, 
                             min_samples_leaf = 100,
                             smoothing = 10,
                             noise_level = 0.01)

### encoding된 값으로 변경
train['ps_car_11_cat_te'] = train_encoded
train.drop('ps_car_11_cat', axis = 1, inplace = True)

# 메타 데이터 update
meta.loc['ps_car_11_cat','keep'] = False

test['ps_car_11_cat_te'] = test_encoded
test.drop('ps_car_11_cat', axis=1, inplace = True)

8. Exploratory Data Visualization

8-1. 범주형 변수

• target = 1인 고객들의 비율 파악

v = meta[(meta.level == 'nominal') & (meta.keep)].index

for f in v:
    ### 기본 틀 설정
    plt.figure()
    fig, ax = plt.subplots(figsize = (20,10))

    ### target = 1의 비율 계산
    cat_perc = train[[f, 'target']].groupby([f],as_index = False).mean()
    cat_perc.sort_values(by = 'target', ascending = False, inplace = True) # 내림차순 정렬
    
    ### 막대그래프(Barplot) 그리기
    # target의 평균을 내림차순으로 정렬
    sns.barplot(ax = ax, x = f, y = 'target', data = cat_perc, order = cat_perc[f])
    plt.ylabel('% target', fontsize = 18)
    plt.xlabel(f, fontsize = 18)
    plt.tick_params(axis = 'both', which = 'major', labelsize = 18)
    plt.show()

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

<Figure size 432x288 with 0 Axes>

• 결측값을 최빈값 등으로 대체하는 대신 별도의 범주 값으로 유지하는 것이 좋음

• 결측값을 가진 고객들이 보험금 청구를 요청할 확률이 훨씬 높은(경우에 따라 훨씬 낮은) 것으로 보임

8-2. 구간 변수

• 변수들 간의 상관계수 확인

• heatmap은 변수들 간의 상관 관계를 시각화하는 좋은 방법

### heatmap 시각화를 위한 함수

def corr_heatmap(v):
    ### 변수들 간의 상관계수
    correlations = train[v].corr() 

    ### 시각화
    cmap = sns.diverging_palette(220, 10, as_cmap = True) # colormap 시각화 

    fig, ax = plt.subplots(figsize = (10,10))
    sns.heatmap(correlations, cmap = cmap, vmax = 1.0, center = 0, 
                fmt='.2f', square=True, linewidths=.5, annot=True, 
                cbar_kws={"shrink": .75})
    
    plt.show()

v = meta[(meta.level == 'interval') & (meta.keep)].index
corr_heatmap(v)

• 해당 변수 사이에는 강력한 상관 관계가 존재함

  • ps_reg_02 & ps_reg_03 (0.7)

  • ps_car_12 & ps_car13 (0.67)

  • ps_car_12 & ps_car14 (0.58)

  • ps_car_13 & ps_car15 (0.67)

• Seaborn에는 변수 간의 (선형) 관계를 시각화할 수 있는 유용한 도구가 있음

  • pairplot을 사용하여 변수 간의 관계를 시각화할 수 있음

  • 상관성이 높은 변수를 개별적으로 살펴보자!

### 처리 속도로 인해 sample을 추출하여 관찰

s = train.sample(frac = 0.1)

✅ ps_reg_02 & ps_reg_03

sns.lmplot(x = 'ps_reg_02', y = 'ps_reg_03', data = s, hue = 'target', 
           palette = 'Set1', scatter_kws = {'alpha':0.3})
plt.show()

• 회귀선에서 알 수 있듯이 변수 사이에는 선형 관계가 있음

• 색상 매개변수 덕분에 target = 0과 target = 1의 회귀선이 동일함을 알 수 있음

✅ ps_car_12 and ps_car_13

sns.lmplot(x = 'ps_car_12', y = 'ps_car_13', data = s, hue = 'target', 
           palette = 'Set1', scatter_kws = {'alpha':0.3})
plt.show()

✅ ps_car_12 and ps_car_14

sns.lmplot(x = 'ps_car_12', y = 'ps_car_14', data  =s, hue = 'target', 
           palette = 'Set1', scatter_kws = {'alpha':0.3})
plt.show()

✅ ps_car_13 and ps_car_15

sns.lmplot(x = 'ps_car_15', y = 'ps_car_13', data = s, hue = 'target', 
           palette = 'Set1', scatter_kws = {'alpha':0.3})
plt.show()

• 변수에 대한 주성분 분석(PCA)을 수행하여 치수를 줄일 수 있음

  • 상관된 변수의 수가 다소 적기에, 그냥 냅두자!

8-3. 순서형 변수

### 상관계수

v = meta[(meta.level == 'ordinal') & (meta.keep)].index
corr_heatmap(v)

• 상관 관계가 높은 변수들이 보이지 않음

  • 대신, target 값으로 group화 시 분포가 어떻게 형성되는지 확인할 수 있음

9. Feature engineering

9-1. Dummy 변수 생성

• 범주형 변수의 값은 순서나 크기를 나타내지 않음

  • 카테고리 2는 카테고리 1의 값의 두 배가 아님

• 이러한 문제를 해결하기 위해 dummy 변수를 활용

  • 원래 변수의 범주에 대해 생성된 다른 더미 변수에서 파생될 수 있음 -> 첫 번째 더미 변수를 drop

v = meta[(meta.level == 'nominal') & (meta.keep)].index
print('Before dummification we have {} variables in train'.format(train.shape[1]))

train = pd.get_dummies(train, columns = v, drop_first = True)
print('After dummification we have {} variables in train'.format(train.shape[1]))

Before dummification we have 57 variables in train
After dummification we have 109 variables in train

• 더미 변수 생성으로 인해 52개의 변수가 추가적으로 생성되었다.

9-2. interaction 변수 생성

v = meta[(meta.level == 'interval') & (meta.keep)].index
poly = PolynomialFeatures(degree=2, interaction_only=False, include_bias=False)
interactions = pd.DataFrame(data=poly.fit_transform(train[v]), columns=poly.get_feature_names_out(v))
interactions.drop(v, axis=1, inplace=True)  # Remove the original columns

# Concat the interaction variables to the train data
print('Before creating interactions we have {} variables in train'.format(train.shape[1]))
train = pd.concat([train, interactions], axis=1)
print('After creating interactions we have {} variables in train'.format(train.shape[1]))

Before creating interactions we have 109 variables in train
After creating interactions we have 164 variables in train

• train 데이터에 interaction 변수가 추가됨

• get_feature_names_out() 메서드 덕분에 열 이름을 새 변수에 할당할 수 있음

10. Feature selection

10-1. 분산이 낮거나 0인 feature 제거

• Sklearn은 이를 위한 편리한 방법을 가지고 있음

  • 분산 문턱값(Variance Threshold)

• 기본적으로 분산이 0인 형상을 제거

  • 이전 단계에서 zero-variance 변수가 없음을 확인

  • 분산이 1% 미만인 feature를 제거하면 31개의 변수가 제거됨

selector = VarianceThreshold(threshold = .01)
selector.fit(train.drop(['id', 'target'], axis = 1)) 

f = np.vectorize(lambda x : not x) # boolean 값 요소를 전환

v = train.drop(['id', 'target'], axis = 1).columns[f(selector.get_support())]

### 분신이 threshold보다 작은 변수 추출
print('{} variables have too low variance.'.format(len(v)))
print('These variables are {}'.format(list(v)))

28 variables have too low variance.
These variables are ['ps_ind_10_bin', 'ps_ind_11_bin', 'ps_ind_12_bin', 'ps_ind_13_bin', 'ps_car_12', 'ps_car_14', 'ps_car_11_cat_te', 'ps_ind_05_cat_2', 'ps_ind_05_cat_5', 'ps_car_01_cat_1', 'ps_car_01_cat_2', 'ps_car_04_cat_3', 'ps_car_04_cat_4', 'ps_car_04_cat_5', 'ps_car_04_cat_6', 'ps_car_04_cat_7', 'ps_car_06_cat_2', 'ps_car_06_cat_5', 'ps_car_06_cat_8', 'ps_car_06_cat_12', 'ps_car_06_cat_16', 'ps_car_06_cat_17', 'ps_car_09_cat_4', 'ps_car_10_cat_1', 'ps_car_10_cat_2', 'ps_car_12^2', 'ps_car_12 ps_car_14', 'ps_car_14^2']

• 분산을 기준으로 선택한다면 많은 변수를 잃게 될 것임

  • 하지만 변수가 많지 않기 때문에, 분류기가 선택하도록 할 것임

  • 변수가 많은 데이터 세트의 경우 데이터 처리 시간을 줄일 수 있음

• 사이킷런에는 다른 feature 선택 방법으로 SelectFromModel을 제공함

### 전체 변수 활용
# RandomForest 활용

X_train = train.drop(['id', 'target'], axis = 1)
y_train = train['target']

feat_labels = X_train.columns

rf = RandomForestClassifier(n_estimators = 1000, random_state = 0, n_jobs=-1)

rf.fit(X_train, y_train)
importances = rf.feature_importances_

indices = np.argsort(rf.feature_importances_)[::-1] # 역순으로 요소들을 정렬(내림차순 정렬)

for f in range(X_train.shape[1]):
    print("%2d) %-*s %f" % (f + 1, 30,feat_labels[indices[f]], importances[indices[f]]))

 1) ps_car_11_cat_te               0.021066
 2) ps_car_13                      0.017323
 3) ps_car_12 ps_car_13            0.017271
 4) ps_car_13^2                    0.017238
 5) ps_car_13 ps_car_14            0.017201
 6) ps_reg_03 ps_car_13            0.017106
 7) ps_car_13 ps_car_15            0.016783
 8) ps_reg_01 ps_car_13            0.016777
 9) ps_reg_03 ps_car_14            0.016258
10) ps_reg_03 ps_car_12            0.015567
11) ps_reg_03 ps_car_15            0.015179
12) ps_car_14 ps_car_15            0.015002
13) ps_car_13 ps_calc_02           0.014744
14) ps_reg_01 ps_reg_03            0.014728
15) ps_car_13 ps_calc_01           0.014714
16) ps_reg_02 ps_car_13            0.014641
17) ps_car_13 ps_calc_03           0.014635
18) ps_reg_01 ps_car_14            0.014488
19) ps_reg_03^2                    0.014317
20) ps_reg_03                      0.014165
21) ps_reg_03 ps_calc_03           0.013774
22) ps_reg_03 ps_calc_02           0.013765
23) ps_reg_03 ps_calc_01           0.013694
24) ps_calc_10                     0.013626
25) ps_car_14 ps_calc_02           0.013594
26) ps_car_14 ps_calc_01           0.013580
27) ps_car_14 ps_calc_03           0.013519
28) ps_calc_14                     0.013414
29) ps_car_12 ps_car_14            0.012919
30) ps_ind_03                      0.012910
31) ps_car_14^2                    0.012752
32) ps_car_14                      0.012751
33) ps_reg_02 ps_car_14            0.012746
34) ps_calc_11                     0.012582
35) ps_reg_02 ps_reg_03            0.012560
36) ps_ind_15                      0.012182
37) ps_car_12 ps_car_15            0.010928
38) ps_car_15 ps_calc_03           0.010903
39) ps_car_15 ps_calc_02           0.010843
40) ps_car_15 ps_calc_01           0.010814
41) ps_car_12 ps_calc_01           0.010496
42) ps_calc_13                     0.010441
43) ps_car_12 ps_calc_03           0.010354
44) ps_car_12 ps_calc_02           0.010304
45) ps_reg_02 ps_car_15            0.010219
46) ps_reg_01 ps_car_15            0.010213
47) ps_calc_02 ps_calc_03          0.010074
48) ps_calc_01 ps_calc_03          0.010060
49) ps_calc_01 ps_calc_02          0.010000
50) ps_calc_07                     0.009818
51) ps_calc_08                     0.009797
52) ps_reg_01 ps_car_12            0.009466
53) ps_reg_02 ps_car_12            0.009299
54) ps_reg_02 ps_calc_01           0.009288
55) ps_reg_02 ps_calc_03           0.009221
56) ps_reg_02 ps_calc_02           0.009146
57) ps_reg_01 ps_calc_03           0.009059
58) ps_calc_06                     0.009044
59) ps_reg_01 ps_calc_02           0.009037
60) ps_reg_01 ps_calc_01           0.009012
61) ps_calc_09                     0.008800
62) ps_ind_01                      0.008605
63) ps_calc_05                     0.008318
64) ps_calc_04                     0.008128
65) ps_reg_01 ps_reg_02            0.008024
66) ps_calc_12                     0.007976
67) ps_car_15                      0.006139
68) ps_car_15^2                    0.006136
69) ps_calc_03                     0.006017
70) ps_calc_01^2                   0.006009
71) ps_calc_03^2                   0.005974
72) ps_calc_01                     0.005964
73) ps_calc_02^2                   0.005945
74) ps_calc_02                     0.005919
75) ps_car_12^2                    0.005356
76) ps_car_12                      0.005345
77) ps_reg_02^2                    0.004986
78) ps_reg_02                      0.004973
79) ps_reg_01                      0.004159
80) ps_reg_01^2                    0.004139
81) ps_car_11                      0.003798
82) ps_ind_05_cat_0                0.003557
83) ps_ind_17_bin                  0.002843
84) ps_calc_17_bin                 0.002674
85) ps_calc_16_bin                 0.002590
86) ps_calc_19_bin                 0.002548
87) ps_calc_18_bin                 0.002504
88) ps_ind_16_bin                  0.002403
89) ps_car_01_cat_11               0.002393
90) ps_ind_04_cat_0                0.002380
91) ps_ind_04_cat_1                0.002359
92) ps_ind_07_bin                  0.002333
93) ps_car_09_cat_2                0.002312
94) ps_ind_02_cat_1                0.002275
95) ps_car_01_cat_7                0.002130
96) ps_calc_20_bin                 0.002095
97) ps_car_09_cat_0                0.002090
98) ps_ind_02_cat_2                0.002088
99) ps_ind_06_bin                  0.002058
100) ps_car_06_cat_1                0.002007
101) ps_calc_15_bin                 0.001989
102) ps_car_07_cat_1                0.001957
103) ps_ind_08_bin                  0.001937
104) ps_car_09_cat_1                0.001804
105) ps_car_06_cat_11               0.001804
106) ps_ind_18_bin                  0.001719
107) ps_ind_09_bin                  0.001719
108) ps_car_01_cat_10               0.001605
109) ps_car_01_cat_9                0.001595
110) ps_car_01_cat_4                0.001545
111) ps_car_01_cat_6                0.001544
112) ps_car_06_cat_14               0.001532
113) ps_ind_05_cat_6                0.001494
114) ps_ind_02_cat_3                0.001430
115) ps_car_07_cat_0                0.001372
116) ps_car_01_cat_8                0.001345
117) ps_car_08_cat_1                0.001343
118) ps_car_02_cat_1                0.001328
119) ps_car_02_cat_0                0.001307
120) ps_car_06_cat_4                0.001241
121) ps_ind_05_cat_4                0.001199
122) ps_ind_02_cat_4                0.001163
123) ps_car_01_cat_5                0.001143
124) ps_car_06_cat_6                0.001105
125) ps_car_06_cat_10               0.001063
126) ps_ind_05_cat_2                0.001036
127) ps_car_04_cat_1                0.001030
128) ps_car_04_cat_2                0.000992
129) ps_car_06_cat_7                0.000986
130) ps_car_01_cat_3                0.000896
131) ps_car_09_cat_3                0.000878
132) ps_car_01_cat_0                0.000877
133) ps_ind_14                      0.000854
134) ps_car_06_cat_15               0.000847
135) ps_car_06_cat_9                0.000791
136) ps_ind_05_cat_1                0.000750
137) ps_car_06_cat_3                0.000711
138) ps_car_10_cat_1                0.000696
139) ps_ind_12_bin                  0.000684
140) ps_ind_05_cat_3                0.000665
141) ps_car_09_cat_4                0.000623
142) ps_car_01_cat_2                0.000553
143) ps_car_04_cat_8                0.000550
144) ps_car_06_cat_17               0.000512
145) ps_car_06_cat_16               0.000475
146) ps_car_04_cat_9                0.000443
147) ps_car_06_cat_12               0.000427
148) ps_car_06_cat_13               0.000403
149) ps_car_01_cat_1                0.000381
150) ps_ind_05_cat_5                0.000312
151) ps_car_06_cat_5                0.000273
152) ps_ind_11_bin                  0.000215
153) ps_car_04_cat_6                0.000201
154) ps_ind_13_bin                  0.000152
155) ps_car_04_cat_3                0.000149
156) ps_car_06_cat_2                0.000143
157) ps_car_04_cat_5                0.000097
158) ps_car_06_cat_8                0.000094
159) ps_car_04_cat_7                0.000080
160) ps_ind_10_bin                  0.000074
161) ps_car_10_cat_2                0.000060
162) ps_car_04_cat_4                0.000045

• SelectFromModel을 활용하면 사용할 사전 적합 분류기와 피쳐 중요도에 대한 임계값을 지정할 수 있음

• get_support 방법 적용 시 train 데이터의 변수 수를 제한할 수 있음

### SelectFromModel 적용
# 특정 feature만 선택적으로 활용

sfm = SelectFromModel(rf, threshold = 'median', prefit = True)

print('Number of features before selection: {}'.format(X_train.shape[1]))

# 변수 선택
n_features = sfm.transform(X_train).shape[1]
print('Number of features after selection: {}'.format(n_features))

selected_vars = list(feat_labels[sfm.get_support()])

Number of features before selection: 162

/usr/local/lib/python3.9/dist-packages/sklearn/base.py:432: UserWarning: X has feature names, but SelectFromModel was fitted without feature names
  warnings.warn(

Number of features after selection: 81

train = train[selected_vars + ['target']]

11. Feature scaling

• train 데이터의 범위를 조정해주기 위해 StandardScaler를 적용할 수 있다.

---

📌 통계학과 교수님 설명

• 모델 알고리즘들 중 데이터들 간의 거리에 따라 성능이 좌우되는 모델 말고는 굳이 안해도 된다고 합니다.

(오히려 표준화 이후 나중에 결과 해석이 어렵다고 합니다.)

• 꼭 해야하는 것들(거리 기반 알고리즘): 릿지(Ridge), 라쏘(Lasso), SVM 등

scaler = StandardScaler()
scaler.fit_transform(train.drop(['target'], axis=1))

array([[-0.45941104, -1.26665356,  1.05087653, ..., -0.72553616,
        -1.01071913, -1.06173767],
       [ 1.55538958,  0.95034274, -0.63847299, ..., -1.06120876,
        -1.01071913,  0.27907892],
       [ 1.05168943, -0.52765479, -0.92003125, ...,  1.95984463,
        -0.56215309, -1.02449277],
       ...,
       [-0.9631112 ,  0.58084336,  0.48776003, ..., -0.46445747,
         0.18545696,  0.27907892],
       [-0.9631112 , -0.89715418, -1.48314775, ..., -0.91202093,
        -0.41263108,  0.27907892],
       [-0.45941104, -1.26665356,  1.61399304, ...,  0.28148164,
        -0.11358706, -0.72653353]])

📚 References

• 기술블로그_불균형 데이터 처리

• 사이킷런 공식 API