Attention Mechanism은 2015년 Neural machine translation by jointly learning to align and translate 이라는 논문에서 최초로 소개되었습니다. Attention이라는 단어는 직접적으로 등장하지는 않았지만, ‘Align’이라는 단어가 사용되었습니다.
Machine Translation에서 큰 위력을 발휘하고 있는 Self-Attention, Transformer, BERT , GPT가 모두 Attention을 Base로 만들어진 개념들입니다. 이번에는 Attention Mechanism에 대해서 알아보도록 하겠습니다. 0.
Seq2Seq Model vs Attention Mechanism 우선, 기존의 Seq2Seq Model과의 비교를 위해 간단하게 구조를 비교해 보도록 하겠습니다. 0.1. 기존 Seq2Seq Model 0.2.
Attention Mechanism 적용 Model 기존 Seq2Seq Model에서...
#
AI
#
language
#
learning
#
Mechanism
#
NLP
#
Output
#
score
#
seq2seq
#
Softmax
#
teacher
#
value
#
Hidden
#
GPT
#
Function
#
Attention
#
char
#
ChatGPT
#
Context
#
decoder
#
deep
#
Distribution
#
dot
#
encoder
#
forcing
#
Vector
원문 링크 : Attention Mechanism
