초봉5센티미터

0. 활성화 함수란? 딥러닝 네트워크에서 노드에 입력된 값들을 비선형 함수에 통과시킨 후 다음 레이어로 전달하는데, 이 때 사용하는 함수를 활성화 함수(Activation Function)라고 한다. 즉, 활성화 함수는 퍼셉트론에서 입력값의 총합을 출력할지 말지 결정하고, 출력한다면 어떤 값으로 변환하여 출력할지 결정하는 함수이다. 1. Sigmoid 함수 시그모이드 함수는 Logistic 함수라고 불리기도 하며, x의 값에 따라 0~1의 값을 출력하는 S자형 함수이다. 시그모이드 함수는 모든 구간에서 미분할 수 있고 증가 함수이므로 미분값이 항상 양수이다. 시그모이드는 오랫동안 활성 함수로 사용되었지만 다음과 같은 문제점이 있다. 1) 함수 정의에 지수 함수가 포함되어 있어 연산 비용이 많이 든다 2)..