안녕하세요, Lead Researcher 박진우 입니다. 지난 1편에서는 기존 Pruning 방법들을 미리 레이어마다 자를 비율을 정해 놓는 predefined과 자동으로 학습과정에서 찾게 하는 automatic으로 나누고, automatic에서도 filter/channel 단위로 잘라내는 structured pruning과 weight element 단위로 잘라내는 unstructured pruning으로 구분할 수 있었습니다.
물론 predefined은 structured pruning으로 취급되었습니다. 이때, 저자들이 주장하는 내용은 structured pruning을 진행할 때, pruning을 진행한 후 남은 weight 값을 그대로 가져와 fine-tuning 하는 것보다, 남은 구조만 가져오고 새로 weight initialization을 진행한 후 처음부터 새로 학습(train from scratch)하는 방법이 더 높은 정확도를 보인다는 사실을 보여주면서 '기존 p...
#
기술소개
#
논문소개
#
딥러닝
#
머신러닝
#
인공지능
