Conference: CVPR2024 Authors: Pablo Marcos-Manchón1, 2 Roberto Alcover-Couso1 Juan C. SanMiguel1 José M.
Martínez1 Teaser 기존에 (a)와 유사한 방법으로 훈련없이 생성하는 이미지에 attention map을 생성하는 방법론 (DAAM)이 있었는데 해당 방법은 생성에 사용한 Prompt 에 한정해서 attention map(AM)을 만드는 것에 한계가 있었습니다. 저자들은 이러한 것을 해결하기 위한 방법을 제안하여 (a)와 같은 이미지에 mouth를 생성에 사용하지 않았음에도 불구하고 AM을 생성하는 것을 가능하도록 만들었습니다.
여기에 (b)와 같이 AM을 optimized시켜 특정 객체에 더욱 tight하게 강조될 수 있도록 token을 optimize하는 방법론을 제안합니다. 개인적으로 token optimized 부분이 신기해서 논문을 보았는데, 이는 사실 CLIP에서 zero-sh...
#
Attention
#
Stablediffusion
#
SemanticSeg
#
Semantic
#
Segmentation
#
OVAM
#
OpenVocab
#
LDM
#
feature
#
DiffusionModels
#
DAAM
#
CVPR24
#
CVPR2024
#
CrossAttention
#
AttentionMAPS
#
Tokenoptimization
원문 링크 : Open-Vocabulary Attention Maps with Token Optimization for Semantic Segmentation in Diffusion Models
