정규화 방법은 모델의 성능을 한층 더 끌어올릴 수 있는 방법으로서 요즈음의 딥러닝에서는 늘 사용되는 방법입니다. 다만, 적절한 테스크에 알맞는 방법을 사용해야 하므로 각 정규화 기법마다의 특징 또는 사용처를 알고 있으면 도움됩니다.
따라서 이번 글에서는 파이토치를 기준으로 바로 사용할 수 있는 정규화 기법들을 살펴보고 각각에 대한 특징 또는 설명과 간단하게 사용할 수 있는 방법까지 이해해보도록 합니다. 트위터에 좋은 그림이 있길래 우선 가져왔는데 해당 이미지와 뒤에 나오는 글을 대치해서 보면 이해에 도움이 되리라 생각됩니다.
물론 차원에 대한 이해가 약간은 필요한 것이 정규화 기법입니다. https://twitter.com/Xu_Cao_/status/1054634647945015296 1. BatchNorm2D 수식 : 설명 : 배치 정규화 기법은 1D, 2D, 3D로 Dimenstion 마다 사용할 수 있도록 나뉘어져 있습니다.
해당 방법은 딥러닝을 진행할 때 미니 배치 단위로 훈...
#
2Dnormalization
#
파이토치정규화기법
#
파이토치정규화
#
파이토치
#
정규화기법
#
이미지정규화
#
모델성능향상
#
SyncBatchNorm
#
Pytorch
#
Overview
#
Normalization
#
Norm
#
LocalResponseNorm
#
LazyBatchnorm2D
#
LayerNorm
#
InstanceNormalization
#
GroupNorm
#
Batchnorm
#
파이토치정리
원문 링크 : Pytorch Normalization overview
