Chapter 13. Restricted Boltzman Machine

끝이 보인다. http://wjyoo80.tistory.com/46 http://mi.eng.cam.ac.uk/~mjfg/local/4F10/lect6.2up.pdf 어렵네.. 맞나..?

알고리즘을 추측해보면.. 1. weight를 임의로 설정 2. 관측된 값으로 v 설정 3. v에 현재 weight를 적용하여 히든 값 구함 -여기서 signoid 함수 사용 4.

히든에 현재 weight를 적용하여 v 값 구함 -여기서 signoid 함수 사용 5. 충분한 숫자만큼 3-4 반복 - 이것이 깁스 샘플링?

(Gibbs sampling은 조건부 확률을 알고 있을때. 조건부 확률을 이용한 반복적인 샘플링을 통해 결합 확률을 알아내는 방법..

그냥 순차적 계산이라고 생각해도 될듯..?) 이 반복이 싫어서 CD-k를 하는 것 같다.

그러나 반복 수가 줄지만, 알고리즘이 복잡하다..(외적을 구해야 한다..) 6.

마지막으로 gradient ascent 이용한 업데이트 class RBM은 라벨층을...