[자연언어처리 개론] (10) Backpropagation과 MLP

오늘은 딥러닝 학습에서 핵심이 되는 Backpropagation에 대해서 알아보겠습니다. 1. Backpropagation이란 Backpropagation (오류 역전파 알고리즘): 멀티 레이어 뉴럴 네트워크에서 오류가 최소가 되도록 weight를 결정하는 방법입니다.

Chain rule을 이용해서 loss를 레이어별로, 뒷쪽에서 앞쪽으로 전파해가면서 weight에 대한 gradient를 계산합니다. 이렇게 loss를 통해 weight를 계산하는 것을 반복하는 것입니다.

그 후 gradient descent algorithm을 이용해 weight를 계산할 수 있습니다. 그럼 차근차근 알아보겠습니다.

다음과 같은 A, B, C가 있다고 합시다. A와 B를 인풋으로 하여 C를 아웃풋하는 알고리즘을 찾으려고 합니다.

A B C 5 -2 5 4 -1 6 3 0 2 5 6 -2 -5 -3 3 1. Computational graph를 정의한다.

위와 같은 식이 주어졌을 때, 아래와 같은 co...