가중치 시각화

numpy로 딥러닝 직접 구현하기 그라디언트 구하기 학습 데이터 X가 레이어를 거쳐서 O가 되고, 손실 함수값 L이 되는 상황을 가정합시... blog.naver.com 이전 글의 내용을 바탕으로 합니다. 옵티마이저 adam, adagrad, rmsprop을 구현해 주었습니다. class AdaGradOptimizer(NNOptimizer): def __init__(self, learning_rate=0.01): super().

__init__(learning_rate) self.h = {} def _calc_update_gradient(self, idx, local_grad): if idx not in self.h: self.h[idx] = local_grad.applied(np.zeros_like) self.h[idx].apply_arg(lambda prev, new: prev+new**2, local_grad) local_grad.apply_arg(lambda x, h: x*se...