TIL 32. 딥러닝(3)

 loss와 metric의 차이

• loss : W, b 값을 업데이트 해주기 위해 사용
• metric : 모델의 성능 평가

분류일 때 사용하는 loss의 종류

• loss 값을 보고 label이 어떤 형태인지 알 수 있음
• 이진분류 : binary crossentropy
• 다중분류 (One-Hot Encoding) : categorical_crossentropy
• 다중분류 (Ordinal Encoding) : sparse_categorical_crossentropy

스케일링

 

1) Z-score scaling(Standard scaling)

평균을 0으로, 표준편차를 1로 만드는 스케일링

평균을 이용하여 계산하기 때문에 이상치에 민감하다.

 

2) Min-Max scaler

최솟값과 최댓값을 0과 1로 지정

정규분포가 아니거나 표준편차가 작을 때 효과적

하지만 이상치를 포함하고 있다면 범위 설정에 영향이 가기 때문에 이상치에 민감하다.

 

3) Robust scaler

중앙값을 0으로, 사분위 수를 1로 만드는 스케일링

중앙값을 이용하기 때문에 앞의 두 정규화 방법들에 비해 이상치에 강하다.

그러나, 스케일만 바꿀 뿐이지 분포는 변하지 않는다.

 

레이어 구성 중 출력층의 차이

activation(활성화함수)

 

1) 분류

• 이진분류: 활성화함수 = sigmoid, layers.Dense(1, activation='sigmoid')
• 다중분류: 활성화함수 = softmax, layers.Dense(n, activation = 'softmax')

2) 회귀

• 항등함수 사용, layers.Dense(1)

 

오늘의 실습 플로우 

1. 딥러닝 모델을 조정하여서 회귀 딥러닝 모델을 생성 (분류 모델과 다르게 Dense 출력 유닛 1로 설정, Compile에서 loss, metrics 변경)

 

2. 자원과 시간을 아끼기 위해서 학습 과정 중 성능이 비슷하면 멈출 수 있도록 EarlyStopping을 설정 (tf.keras.callbacks.EarlyStopping -> 성능이 비슷함에도 남은 epochs가 많이 남았다면 시간이 아깝다.)

 

3. 학습 과정에서 validation_split을 설정하여 검증 데이터셋도 설정 (모델이 과적합인지 과소적합인지 제 성능을 하는지 확인하기 위해서 -> model.fit(validation_split=0.2))

 

4. 딥러닝 모델을 학습. (model.fit)

 

5. 학습한 모델의 성능을 history 표를 보면서 측정

(여기서 우리 전에 배웠던 loss, mae, mse 지표를 보면서 모델이 잘 예측했는지 평가-> 검증모델에서의 지표와 비교를 해보고(val_loss, val_mae, val_mse 등등) 과대적합이 됐는지, 과소적합이 됐는지도 볼 수 있다.)