KD Knowledge DIstillation 지식증류 경험 전달 entropy crossEntropy KL-Divergence 사전 정보 최근 Incremental Learning에 대한 공부를 위해서 그에 근간이 되어지는 Knowledge Distillation을 공부하였습니다. 간단하게 개념을 정리해보고, 직접 코드를 사용해서 실험한 결과를 공유합니다.
가장 유명한 코드 모음집이 있기는 한데, 파이토치 0.3 버전으로 만들어져서 사용하기도 힘들고, 실험을 진행하지를 못해서 직접 코드를 작성해보았습니다. 기본적인 개념은 간단한데, 딥러닝에서는 모델이 클수록, 깊고 넓을 수록 더 많은 파라미터를 통해 많은 지식 정보를 얻을 수 있다는 장점이 존재합니다.
하지만, 이렇게 큰 지식을 학습한 모델일수록 사용하려면 좋은 하드웨어 및 좋은 디바이스가 필요하기 때문에 이를 해결하고자 등장하게 되었습니다. 큰 모델에서 학습을 진행하고 여기서 얻은 지식의 일부를 작은 모델에 전달해주면서 작은 모...
#
CE
#
KD코드실험
#
KL
#
Knowledge
#
KnowledgeDistillationImplementation
#
딥러닝
#
증류모델
#
지식증류구현
#
지식증류모델
#
KD코드
#
KD구현
#
CrossEntropy
#
Dist
#
Distillation
#
Divergence
#
Entropy
#
Implementation
#
jjunsss
#
KD
#
지식증류실험
원문 링크 : Knowledge Distillation
