[자연언어처리 개론] (11) 딥러닝에서 활성 함수와 오류 함수

이번 시간에는 활성 함수와 오류 함수에 대해서 알아보겠습니다. 1. 활성 함수 (activation function) 활성 함수는 딥러닝 과정에서 Nonlinearity를 가능하게 해 주는 함수입니다.

입력값을 가중치(weight)과 곱해서 더한 값이 임계점을 넘으면 다음 레이어로 넘기고, 넘지 못하면 다음 레이어로 넘기지 않는 함수입니다. 활성 함수의 3가지 종류 활성 함수에는 크게 세 가지가 있습니다. 1.

Rectified Linear Unit (ReLU) ReLU 함수는 0과 x중 더 큰 값을 갖는 함수입니다. 따라서 x가 음수일 경우 0, 양수일 경우 x가 됩니다.

출처: https://www.researchgate.net/figure/Activation-function-ReLu-ReLu-Rectified-Linear-Activation_fig2_370465617 2. Sigmoid function Sigmoid function은 y가 0과 1 사이의 값을 갖는 함수입니다....