(딥 러닝) Weight Initialization

개요 (딥 러닝) 인공 신경망의 개념과 기본 수학 용어 틀린 부분이 있다면 언제든지 지적 부탁드립니다:) 인공 신경망 (Artifical Neural Network, ANN) 로... blog.naver.com 우리는 인공 신경망의 학습을 통해 무엇을 구하고 싶은 건지 잠깐 생각해볼 필요가 있다. 원하는 결과를 얻기 위해 가중치를 조정하는 것이 학습의 목적이 아닌가?

즉, 인공 신경망에서 가중치(Weight)는 어떤 값이냐에 따라 모델의 성능에 엄청난 영향을 줄 수 있다. 가중치의 초기값을 정한다는 것은 레이싱 게임의 출발선(startline) 위치를 정하는 것과 같다.

어디에서부터 출발하느냐에 따라 목적함수의 결과가 최소가 되는 가중치를 찾는 속도가 달라지기 때문이다. 이런 이유로 가중치를 어떤 방식으로 초기화하느냐에 대한 방법론은 꾸준히 나오고 있다.

이 포스트에서는 가중치 초기화의 여러가지 방법들에 대해 다루고자 한다. zero initialization 우선 가중치의 초기값을...