0. Introduction 다른 글에서 Attention Mechanism에 대해서 알아보았습니다.
Attention Mechanism에 대해서 자세히 알아보시려면 아래 글을 읽어보시기를 추천드립니다. https://blog.naver.com/moonlight314/223418420125 Transformer #1 - Attention Mechanism 0. Background Attention Mechanism이 나오기 전에는 Seq2Seq Model이 주로 사용되었습니다.
Seq2S... blog.naver.com Transformer에서는 Attention 적용에 있어서 조금 더 발전된 Self Attention이라는 방법을 사용하고 있습니다. Self Attention의 핵심 Idea는 ‘입력 Text에 존재하는 단어들 사이의 관계를 파악’ 해보자는 것입니다.
The snake is very dangerous because it has a venom. 이 문장에서 it이 s...
#
attention
#
내적
#
Value
#
Transformer
#
Softmax
#
Seq2Seq
#
self
#
RNN
#
Query
#
LSTM
#
Key
#
GPT
#
Encoder
#
Embedding
#
Decoder
#
어텐션
원문 링크 : Transformer #2 - Self Attention
