데이터 분석 공모전 작업1

import pandas as pd
import numpy as np

file_path = 'rawdata.csv'

df = pd.read_csv(file_path) #read_csv 함수로 데이를 df형태로 불러옴

df.head()

	ID	Q1A1	Q1A2	Q2A11	Q2A12	Q2A13	Q2A2	Q2A3	Q3	Q4A1	...	ADQ8A4	ADQ8A5	ADQ8A6	ADQ8A7	ADQ8A8	ADQ9	ADQ101	ADQ102	ADQ103	WT2
0	108121	1	2	1.0	NaN	NaN	2	2	1	1	...	NaN	NaN	NaN	NaN	NaN	3	3	1	1	1.07
1	106029	1	2	1.0	NaN	NaN	2	2	1	1	...	NaN	NaN	NaN	NaN	NaN	2	13	1	2	0.67
2	100438	2	2	1.0	NaN	NaN	2	2	1	1	...	NaN	NaN	NaN	NaN	NaN	3	6	1	1	0.65
3	100436	2	2	1.0	NaN	NaN	2	2	1	1	...	NaN	NaN	NaN	NaN	NaN	5	6	1	1	0.63
4	101436	2	2	1.0	NaN	NaN	2	2	1	1	...	NaN	NaN	NaN	NaN	NaN	1	17	1	1	0.40

5 rows × 234 columns

y값 설정

# y값은 디지털 정보화 수준(종합) = 접근(0.2)+역량(0.4)+활용(0.4)
cols = list(df.columns)
level1 = cols[1:9] #접근에 해당하는 질문
level2 = cols[9:23] #역량에 해당하는 질문
level3 = cols[23:77] + cols[192:211] #활용에 해당하는 질문

df = df.fillna(0)
df = df.astype(int)
df.head()

	ID	Q1A1	Q1A2	Q2A11	Q2A12	Q2A13	Q2A2	Q2A3	Q3	Q4A1	...	ADQ8A4	ADQ8A5	ADQ8A6	ADQ8A7	ADQ8A8	ADQ9	ADQ101	ADQ102	ADQ103	WT2
0	108121	1	2	1	0	0	2	2	1	1	...	0	0	0	0	0	3	3	1	1	1
1	106029	1	2	1	0	0	2	2	1	1	...	0	0	0	0	0	2	13	1	2	0
2	100438	2	2	1	0	0	2	2	1	1	...	0	0	0	0	0	3	6	1	1	0
3	100436	2	2	1	0	0	2	2	1	1	...	0	0	0	0	0	5	6	1	1	0
4	101436	2	2	1	0	0	2	2	1	1	...	0	0	0	0	0	1	17	1	1	0

5 rows × 234 columns

# 최종 y값
df['y_value'] = 0

# 접근 계산
for col in level1:
    df.loc[:, 'y_value'] += df.loc[:, col]*0.2

# 역량 계산
for col in level2:
    df.loc[:, 'y_value'] += df.loc[:, col]*0.4

# 활용 계산
for col in level3:
    df.loc[:, 'y_value'] += df.loc[:, col]*0.4

# 라벨 생성 - 이 라벨 생성이 관건인데....이건 도메인 지식이 필요해서....
df['y_label'] = 0

df.loc[df['y_value']<40, 'y_label'] = 1
df.loc[(df['y_value']>=40)&(df['y_value']<85), 'y_label'] = 2
df.loc[df['y_value']>=85, 'y_label'] = 3

일단 이 디지털 정보화 수준을 y값이라 놨어. 괄호안에 있는 값은 가중치야. 접근, 역량, 활용에 대해 묻는 질문은 내가 엑셀 파일에 색깔로 구별해놈 (저 지표는 NIA에서 설정한 공식)

df.loc[:, 'y_value'].describe()

count    2300.000000
mean       67.840000
std        27.747736
min        16.200000
25%        52.800000
50%        68.000000
75%        86.000000
max       153.800000
Name: y_value, dtype: float64

df['y_label'].value_counts()

2    1357
3     599
1     344
Name: y_label, dtype: int64

X 값 설정

X_cols = cols[211:217] + cols[218:220] + cols[229:233]
X_df = df.loc[:, X_cols]

X_col_name = ['연령', '성별', '직업', '고용주여부', '최종학력', '장애구분', '가구_거주형태', '가구구성형태', '월평균소득', '현재거주지역',
            '지역구분(시/군)', '지역구분(읍/면/동)']

X_df.columns = X_col_name
X_df

	연령	성별	직업	고용주여부	최종학력	장애구분	가구_거주형태	가구구성형태	월평균소득	현재거주지역	지역구분(시/군)	지역구분(읍/면/동)
0	70	2	11	0	1	1	2	2	3	3	1	1
1	59	1	14	0	2	1	1	2	2	13	1	2
2	70	1	14	0	2	1	1	2	3	6	1	1
3	62	1	9	0	3	1	3	2	5	6	1	1
4	65	2	6	0	1	1	1	2	1	17	1	1
...	...	...	...	...	...	...	...	...	...	...	...	...
2295	61	2	11	0	3	1	2	2	7	9	1	1
2296	69	1	14	0	1	1	1	1	1	17	1	2
2297	75	1	14	0	1	1	1	2	2	11	1	1
2298	78	2	9	0	3	1	3	2	3	9	1	1
2299	85	2	14	0	1	1	1	2	1	17	1	1

2300 rows × 12 columns

main data 생성

main_df = pd.concat([X_df, df.loc[:, ['y_value', 'y_label']]], axis=1) #x,y 합침
main_df

	연령	성별	직업	고용주여부	최종학력	장애구분	가구_거주형태	가구구성형태	월평균소득	현재거주지역	지역구분(시/군)	지역구분(읍/면/동)	y_value	y_label
0	70	2	11	0	1	1	2	2	3	3	1	1	47.0	2
1	59	1	14	0	2	1	1	2	2	13	1	2	43.4	2
2	70	1	14	0	2	1	1	2	3	6	1	1	41.6	2
3	62	1	9	0	3	1	3	2	5	6	1	1	50.0	2
4	65	2	6	0	1	1	1	2	1	17	1	1	37.6	1
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
2295	61	2	11	0	3	1	2	2	7	9	1	1	28.6	1
2296	69	1	14	0	1	1	1	1	1	17	1	2	28.4	1
2297	75	1	14	0	1	1	1	2	2	11	1	1	25.2	1
2298	78	2	9	0	3	1	3	2	3	9	1	1	28.4	1
2299	85	2	14	0	1	1	1	2	1	17	1	1	19.4	1

2300 rows × 14 columns

#!pip install lightgbm

#!pip install scikit-learn

from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
import lightgbm as lgb

from sklearn.metrics import accuracy_score

데이터 분리

X = X_df
y = main_df.loc[:, 'y_label']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

X_train.shape, X_test.shape

((1840, 12), (460, 12))

랜덤포레스트

rf = RandomForestClassifier()

# 데이터 학습
rf.fit(X_train, y_train)

# 예측값 생성
y_pred = rf.predict(X_test)

# 변수 중요도 확인
feature_importances = rf.feature_importances_
feature_importance_df = pd.DataFrame({'Feature': X.columns, 'Importance': feature_importances})
feature_importance_df = feature_importance_df.sort_values(by='Importance', ascending=False)

# 정확도 확인
accuracy = accuracy_score(y_test, y_pred)
print("테스트 세트 정확도:", accuracy)

feature_importance_df

테스트 세트 정확도: 0.6695652173913044

	Feature	Importance
0	연령	0.243566
9	현재거주지역	0.184022
8	월평균소득	0.136333
2	직업	0.124269
4	최종학력	0.118282
6	가구_거주형태	0.065725
1	성별	0.033850
11	지역구분(읍/면/동)	0.025739
3	고용주여부	0.024871
7	가구구성형태	0.019679
10	지역구분(시/군)	0.015843
5	장애구분	0.007821

main_df

	연령	성별	직업	고용주여부	최종학력	장애구분	가구_거주형태	가구구성형태	월평균소득	현재거주지역	지역구분(시/군)	지역구분(읍/면/동)	y_value	y_label
0	70	2	11	0	1	1	2	2	3	3	1	1	47.0	2
1	59	1	14	0	2	1	1	2	2	13	1	2	43.4	2
2	70	1	14	0	2	1	1	2	3	6	1	1	41.6	2
3	62	1	9	0	3	1	3	2	5	6	1	1	50.0	2
4	65	2	6	0	1	1	1	2	1	17	1	1	37.6	1
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
2295	61	2	11	0	3	1	2	2	7	9	1	1	28.6	1
2296	69	1	14	0	1	1	1	1	1	17	1	2	28.4	1
2297	75	1	14	0	1	1	1	2	2	11	1	1	25.2	1
2298	78	2	9	0	3	1	3	2	3	9	1	1	28.4	1
2299	85	2	14	0	1	1	1	2	1	17	1	1	19.4	1

2300 rows × 14 columns

# 수정된 코드: 키와 값의 형태를 맞춤
dic = {
    1: 'Seoul',
    2: 'Busan',
    3: 'Daegu',
    4: 'Incheon',
    5: 'Gwangju',
    6: 'Daejeon',
    7: 'Ulsan',
    8: 'Sejong',
    9: 'Gyeonggi',
    10: 'Gangwon',
    11: 'Chungbuk',
    12: 'Chungnam',
    13: 'Jeonbuk',
    14: 'Jeonnam',
    15: 'Gyeongbuk',
    16: 'Gyeongnam',
    17: 'Jeju',
    99: 'No Response'}

# 함수 정의
def make_graph(ax, df, i):
    # seaborn을 사용한 버전
    sns.countplot(x='y_label', data=df, ax=ax)
    ax.set_title(f'Distribution of {dic[i]}')

import matplotlib.pyplot as plt
import seaborn as sns

# 그룹핑
loc_group = main_df.groupby('현재거주지역')

# subplot 설정
fig, axes = plt.subplots(4, 4, figsize=(15, 12))
fig.suptitle('Distribution of Each Region', fontsize=20)

# 각 그래프를 하위 그래프에 그림
for i, ax in zip(range(1, 17), axes.flatten()):
    new_df = loc_group.get_group(i)
    make_graph(ax, new_df, i)

# 빈 하위 그래프는 숨김
for ax in axes.flatten()[len(loc_group.groups):]:
    ax.axis('off')

# 상하 간격 조절
plt.subplots_adjust(top=0.9, bottom=0.1, hspace=0.4)    

# 그래프 출력
plt.show()