Batch Normalization 배치 정규화는 딥 러닝 학습 시 심심치 않게 사용되곤 한다. GELU와 같은 활성 함수에서도 사용되는 것을 볼 수 있고 (딥 러닝) 은닉층 활성 함수 / GELU 함수 기울기 소멸 문제를 해결하기 위해서 깊은 신경망 구조에서는 ReLU 활성 함수를 사용하는 것이 일반적이... blog.naver.com 합성곱 신경망 구현 코드에서도 자주 볼 수 있다.
(딥 러닝) 합성곱 신경망 / VGGNet 개요 VGGNet은 2014년 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 대회... blog.naver.com 배치 정규화(Batch Normalization)의 수학적 정의는 다음과 같이 내릴 수 있다. 수학적으로 뭔가를 하는 것 같은데, 이를 요약하면 2가지 과정을 수행하는 거라고 생각하면 편할 것 같다. normalization (정규화) scale and shift (조정) 배치 정규화를 사...
