chapter 3. Feed-forward Neural Networks

헬이다. 수식 전개가 이렇게 많은데, 오타가 너무 많다.

제곱이 있다가 없다가, 미분이 이상해서 보면 제곱이 빠져있고, 그런데 이것이 있다가 없다가 엄청 복잡하다. FNN의 핵심은 back propagation.

은닉층의 활성함수는 하이퍼 탄젠트 또는, 시그모이드 함수를 사용한다. 출력층은 항등함수를 사용해도 된다.

난 뭐가 좋은지 모르니, 은닉 - 스그모이드 , 출력 - 항등 으로 코딩한다. algorithm 6의 경우 bias는 구하지 않는 것 같다.... =================================================== 알고리즘 6의 weight 업데이트 부분에서 다른 알고리즘처럼 마이너스를 해줘서, 별 의심않고 코드를 작성했다. 그 결과 트레이닝이 제대로 되지 않았다.

스텝 사이즈는 0.001을 사용하였고, XOR을 트레이닝 하였다. 하루종일 메달려도 이상이 없다...

그래서 디버깅을 해보니, 결과가 점점 답과 멀어진다. 방향이 반대인것 같아, 마이...