오늘의 키워드(자세한 내용은 아래에) - BYOL - Barlow Twins - DINO - Self-Supervised Learning <오늘의 강의정리> BYOL Bootstrap your own latent A New approach of Self-Supervised Learning (NIPS2020) 기존 contrastive learning 방법들은 negative를 잘 선택해야 했어요 다양한negative mining 방법이 필요했고 굉장히 큰 batch 크기로 학습시켜야 했습니다 그리고 image augmentation 조건에 따라 학습 안정성도 불안했어요 그래서 제시한 방법에서는 네트워크 2개(siamese network)를 사용해서 학습했습니다 기존 방법인 simclr보다 batch size나 image augmentation에 대해 덜 민감하다는 결과를 보였습니다. supervised learning으로 pre-train했을 때보다 더 좋은 성능을 보였습니다 Bar...
#
BarlowTwins
#
표현학습
#
패스트캠퍼스후기
#
패스트캠퍼스
#
직장인자기계발
#
직장인공부
#
오공완
#
SSL
#
DINO
#
BYOL
#
환급챌린지
![[딥러닝 개념 6] 신경망은 어떻게 학습될까_ Feed Forward, Back Propagation](https://mblogthumb-phinf.pstatic.net/MjAyNDAzMTBfMjUg/MDAxNzEwMDUyODA0NTA4.SKxRWp8-KesHBdizTYhaXoNCbz7U0nkiVcwiWrhDNjYg.lcpRa7YIIhUHKNfdcZpemRRJvebrmrw-RwfU6o4QI4Qg.JPEG/6.jpg?type=w2)