import os
import pandas as pd

os.chdir(r"C:/Users/user/Desktop/aa/5. 머신러닝 모델의 성능 향상을 위한 전처리\데이터")

df = pd.read_csv("glass.csv")
df

# 특징과 라벨 분리
X = df.drop(['Glass_type'], axis = 1)
Y = df['Glass_type']

# 학습 데이터와 평가 데이터 분리
from sklearn.model_selection import train_test_split
Train_X, Test_X, Train_Y, Test_Y = train_test_split(X, Y)
Train_X.shape

import numpy as np
def IQR_rule(val_list): # 한 특징에 포함된 값 (열 벡터)
    # IQR 계산    
    Q1 = np.quantile(val_list, 0.25)
    Q3 = np.quantile(val_list, 0.75)
    IQR = Q3 - Q1
    
    # IQR rule을 위배하지 않는 bool list 계산 (True: 이상치 X, False: 이상치 O)
    not_outlier_condition = (Q3 + 1.5 * IQR > val_list) & (Q1 - 1.5 * IQR < val_list)
    return not_outlier_condition

# apply를 이용하여 모든 컬럼에 IQR rule 함수 적용
conditions = Train_X.apply(IQR_rule) 
conditions

# 하나라도 IQR 규칙을 위반하는 요소를 갖는 레코드를 제거하기 위한 규칙
total_condition = conditions.sum(axis = 1) == len(Train_X.columns)
total_condition

# 이상치 제거
Train_X = Train_X.loc[total_condition]
Train_X

Train_X.shape 

# 이상치의 비율이 거의 30퍼 가까이 되는데 이상치가 30프로라는거는 이는 사실 말이 안되고,
# 일반적으로는 이상치는 1프로 미만이다.
# 위에서 (Q3 + 1.5 * IQR > val_list) & (Q1 - 1.5 * IQR < val_list)로 IRQ를 계산했는데
# 1.5라는 숫자가 공식적으로 지정된 숫자는 아니어서 이를 조절해도 무방한데
# 1.5를 높이는 걸로 조정하면 이상치의 비율이 떨어질것이다.
# 이런식으로 해서 이상치를 1프로 미만으로 낮춰서 조정해주면 된다.
45/160

import pandas as pd
import os
import numpy as np

df = pd.read_csv("glass.csv")
df

# 특징과 라벨 분리
X = df.drop(['Glass_type'], axis = 1)
Y = df['Glass_type']

# 학습 데이터와 평가 데이터 분리
from sklearn.model_selection import train_test_split
Train_X, Test_X, Train_Y, Test_Y = train_test_split(X, Y)
Train_X.shape

# cdist를 불러온 이유는 DBSCAN의 파라미터를 조절을 하는데 사용되기 때문이다.
# 앱실론이라는 것은 결국 거리일텐데 이 거리라는게 데이터마다 차이가 클수도 있다.
# cdist를 이용하면 쉽게 데이터간에 거리를 구할 수 있다.
from scipy.spatial.distance import cdist
from sklearn.cluster import DBSCAN
# Train_X와 Train_X 거리 행렬계산 => DBSCAN의 파라미터를 설정하기 위함
DM = cdist(Train_X, Train_X)
DM

# 샘플 간 거리의 10% quantile이 0.6692정도임을 확인
# 여기서 10%는 작은값을 기준으로 상위 10%를 말하는 것임
# 작은값을 기준으로 상위 10%의 거리가 0.6692정도 라는 것이다.
# 0.6692라고 나온값은 단순히 참고하는 수치이고 이게 정확한 기준은 아니다.
np.quantile(DM, 0.1) 

cluster_model = DBSCAN(eps = 0.67, min_samples = 3).fit(Train_X)
print(sum(cluster_model.labels_ == -1))
# 34개가 이상치로 판단 => 이정도면 너무 많은 양이 아닌가?? => 파라미터 조정

cluster_model = DBSCAN(eps = 2, min_samples = 3).fit(Train_X)
# 앱실론을 크게 늘리면 당연히 반경내에 샘플이 많이 들어갈 가능성이 높다. 
# 그래서 이상치라고 판단되는 데이터의 수도 줄어들 것이다.
# 13개 정도면 괜찮은 양이라고 판단하여 삭제 수행
print(sum(cluster_model.labels_ == -1)) 

Train_X = Train_X[cluster_model.labels_ != -1]
Train_X

Train_X.shape