TIL 31. 딥러닝(2)

Dropout

• 과적합을 줄이기 위해 일부 노드를 제거하고 사용하는 것

손실함수 loss function

• 실제값과 예측값의 차이를 수치화해주는 함수로, 출력값을 최소화하는 지점을 찾아야 함
• 분류의 손실함수

• binary_crossentropy(이진분류)
• categorical_crossentropy (다중분류: one-hot-encoding)
• sparse_categorical_crossentropy (다중분류: ordinal Encoding)

• 회귀의 손실함수

• squared loss
• absolute loss
• huber loss
• quantile loss

Weight & Bias

• 가중치는 두번째 레이어가 선택하려는 뉴런의 픽셀 패턴을 알려줌
• bias는 뉴런이 활성화되려면 가중치의 합이 얼마나 더 높아야 하는지를 알려준다

기울기 소실(Gradient Vanishing)

• 깊은 인공신경망을 학습할 때 역전파 과정에서 입력층으로 갈수록 기울기가 점차 작아지는 현상
• 입력층에 가까운 층들에서 가중치들이 업데이터가 제대로 되지 않으면 결국 최적의 모델을 찾을 수 없게 됨
• 학습과정에서 기울기 소실은 최적값 도출이 어려움

기울기 폭주(Gradient Exploding)

• 기울기가 점차 커지더니 가중치들이 비정상적으로 큰 값이 되면서 발산. 순환신경망(Recurrent Neural Network)에서 쉽게 발생

Dense Layer

• 밀집 연결(densely-connected) 또는 완전 연결(fully-connected) 층이라고 부릅니다.
• 첫 번째 Dense 층은 128개의 노드(또는 뉴런)를 가집니다.
• 마지막 층은 출력층 입니다.
• 소프트맥스 일 때 : N개의 노드의 소프트맥스(softmax) 층입니다. 이 층은 N개의 확률을 반환하고 반환된 값의 전체 합은 1입니다.
• 각 노드는 현재 이미지가 2개 클래스 중 하나에 속할 확률을 출력합니다.
• 시그모이드 일 때 : 둘 중 하나를 예측할 때 1개의 출력값을 출력합니다. 확률을 받아 임계값 기준으로 True, False로 나눕니다.

출력층

• 예측 값이 n개 일 때 : tf.keras.layers.Dense(n, activation='softmax')
• 예측 값이 둘 중 하나일 때 : tf.keras.layers.Dense(1, activation='sigmoid')