Paper: https://arxiv.org/pdf/2307.07397.pdf Authros: Zhengbo Wang, Jian Liang, Ran He, Nan Xu, Zilei Wang, Tieniu Tan Conference: ICCV 2023 앞에서 CoOp/CoCoOp 논문을 리뷰하였습니다. 전부 CLIP을 기반으로 Genereralization performance를 비교하였고, 아주 간단한 Word embedding / MLP 조합들을 통해서 prompt를 구성하였을 때 성능을 올릴 수 있는 것을 확인하였습니다.
Motivation 이번에도 거의 유사한데, 조금 다른게 생성 모델을 사용합니다. Variational Auto Encoder는 특정 이미지들을 latent vector화 하고 원래 이미지와 동일하게 복원하는 형태로 훈련을 진행하게 되고, 이 과정에서 이미지들의 semantic feature들을 추출하게 됩니다.
이러한 VAE는 보통 noise를 지우는데 사용하...
![[Prompt] Improving Zero-Shot Generalization for CLIP with Synthesized Prompts (SHIP)](https://mblogthumb-phinf.pstatic.net/MjAyNDAzMjdfMzAw/MDAxNzExNDk5MzgzNTA4.vP3wcKzj5b-4DexdkOhiObE9SPPfTm6tda70BZwO0J4g.vONXpakYm6l7tI23jSN0bcKyeOv9TBi0CZK-SQIsSsQg.PNG/image.png?type=w2)
#
Basetonew
#
prompt
#
promptlearning
#
SHIP
#
Synthesizedprompt
#
VAE
#
VisionLanguage
#
VL
#
VLM
#
VLMs
#
Zeroshop
#
paper
#
localbias
#
instancefeature
#
classification
#
CLIP
#
CoCoOp
#
CoOp
#
ELBO
#
Fewshot
#
Generalization
#
ICCV
#
ICCV23
#
instance
#
생성모델
![Auto Encoder[오토인코더]](https://mblogthumb-phinf.pstatic.net/MjAyMjA5MDlfNzgg/MDAxNjYyNjYwMzQ3Nzcz.3OmDTTdniqebwD1UOH8vTwfmnhjj9iOtwtCGI77hiCAg.UWCR3VjQP4EUMGS8TCraWIuQqlybqfDnuK9DFxDdwTIg.PNG.jjunsss/image.png?type=w2)
