Lecture 4 – Backpropagation

목차 강의 내용 ->word vector가 있다. 그러한 vector를 모은 matrix가 있는데 직접적으로 classifier 시스템에 연결하지는 않는다.

->우리가 직접적으로 연결하는것은 위의 window이다. 위에서 window의 5 단어는 전부 다르지만 같은 경우도 있다.

->그럼에도 우리는 계속 경사하강을 하고 word window vector의 기울기로 작업하려고 한다. ->우리는 이 window vector를 5개의 word vector로 쪼개고 업데이트해준뒤 word vector matrix에 적용해준다.

->만약 같은 단어가 2개로 중복되어 있다면, 우리는 말그대로 둘 다의 업데이트 된 것을 적용해준다. -> forward propogation -> 1부터 시작해서 역으로 연산한다. ->단일 노드에서는 backpropagation이 쉽다.

->y 는 여로곳에서 사용되고 사용되는 계산이 다르다. -> 수학적으로는 역전파가 완벽하지만, 원하지 않는 결과를 얻을 수도 있다...