LVT Continual Learning CL IL Transformer External Key Bias inter-task attention dual Classifier Catastrophic forgetting 대부분의 모델들이 VIT 구조를 기반으로해서 만들었다는 것을 확 느낄 수 있습니다. 여기서도 Transformer Block에 변화를 주고, Previous Data에 관련이 있도록 만들었습니다.
Methodology 3.1 Problem Setup T : Task X, Y 로 이루어진 i.i.d. 독립 이상 분포 D X', Y' in memory ( Rehearsal 데이터 ) -> 이전에 학습을 완료한 데이터들 해당 모델은 한번 에 하나의 Task를 학습하기 때문에 동시에 모든 클래스를 최적화 한다는 것은 불가능하지만, 제한된 메모리에 이전의 Task에 대한 정보를 저장하는 형태로 이전에 대한 정보를 잊지 않는 훈련을 진행한다고 합니다. 3.2 LifeLong Visi...
#
Accumulation
#
Head
#
Incremental
#
IncrementalLearning
#
jjunsss
#
KD
#
Learning
#
LeVIT
#
Lifelong
#
LVT
#
Regression
#
Rehearsal
#
Response
#
Transformer
#
GFLV1
#
forgetting
#
Catastrophic
#
CL
#
Classification
#
CNN
#
Confidence
#
Continual
#
DarkKnowledge
#
Detection
#
Distillation
#
DualClssifier
#
exemplar
#
externalKey
#
FCOS
#
VIT
