데이터가 축적될수록 개별 데이터값들에 너무 치중하지 못하는 과적합 방지 기법이 필요하다. 과적합(Overfitting)은 일반적으로 데이터에는 일부 편중된 데이터들도 포함하고 있는데 이들 데이터까지 세세하게 고려하여 분석하면 왜곡되어 올바른 기준을 구축하지 못하게 되는데 이를 과적합 하였다고 부르고, 이를 예방하는 방법으로는 정규화(Regularization), 표준화(Normalization)와 드롭아웃(Drop-out) 기법들이 있다.
정규화는 데이터에 편향이 발생하는 것을 억제하기 위한 기술이며, 입력변수 X를 최솟값은 0, 최댓값은 1이 되도록 1차 함수 통해 변환하는 기법이다. 표준화는 입력변수 X를 평균이 0, 분산이 1인 정규분포가 되도록 1차 함수 통해 변환한다.
드롭아웃(Drop-out)은 출력층 이외의 뉴런을 일정한 확률로 무작위 제거하는 방법으로, 이렇게 제거되는 뉴런은 가중치와 편향을 수정할 때마다 또 바뀐다. 이는 구현이 쉽고 과적합 방지에 효과가 크기 때문에...
#
과적합
#
과적합예방
#
드롭아웃
#
아다그라드
#
아담
#
옵티마이저
#
인공지능
#
정규화
#
표준화
원문 링크 : 과적합 예방
