드랍아웃(Drop Out)

신경망의 일반화 성능을 향상시키기 위해 사용되는 정규화(Regularization) 기법 중 하나 학습 과정에서 신경망의 일부 뉴런을 임의로 선택적 제거 신경망은 여러 개의 부분 네트워크(Sub-Network) 를 사용하여 학습하고, 앙상블 효과를 통해 과적합(Overfitting) 을 줄임. 적용 드랍아웃은 주로 신경망의 은닉층(Hidden Layer) 에서 사용 각 은닉층 뉴런은 드랍아웃 확률(p) 에 따라 유지될 확률과 제거될 확률을 갖음 학습 중에 각 배치(Batch) 또는 각 데이터 포인트에 대해 임의로 뉴런을 드랍아웃 확률에 따라 선택 제거 테스트 또는 추론 단계에서는 드랍아웃을 적용하지 않고 전체 신경망을 사용 효과 뉴런은 다른 뉴런들과의 독립성을 갖음.

이로 인해 다양한 부분 네트워크(Sub-Networks) 가 생성 학습 중 뉴런 일부가 제거되어 부분 네트워크에서만 학습이 이루어짐. 신경망이 일부 뉴런의 의존서에 과도하게 의존하지 않도록 도와줌 (과적합 감소, 일반화...