안녕하세요, MoonLight입니다. 이번 Post에서는 Transformer의 전체 구조를 개괄적으로 알아보도록 하겠습니다.
Transformer의 전체 구조의 위와 같습니다. 왼쪽이 Encoder의 구조이고, 오른쪽이 Decoder입니다. 0.
Encoder 먼저 Encoder의 구조에 대해서 간략하게 살펴보겠습니다. 0.0. Tokenizer 가장 아래쪽에 Inputs이 있습니다.
Transformer에서 Input은 단어들로 이루어진 문장이 되겠죠. 이 그림에서는 생략되어 있는데, Input Embedding Layer에 문장 전체가 들어갈 수는 없기 때문에 그전에 tokenizer를 이용하여, 문장들을 Token 단위로 나눕니다.
Transformer에서는 주로 WordPiece Tokenizer를 사용하여 문장을 Token으로 나눕니다. 0.1. Input Embedding Layer Tokenizer로 Token으로 분리된 입력 문장은 Embedding Layer로 들어...
#
attention
#
Positional
#
self
#
Tokenizer
#
Transformer
#
WordPiece
#
디코더
#
어텐션
#
인코더
#
Normalization
#
Multi
#
Decoder
#
Encoder
#
Encoding
#
Feed
#
GPT
#
Gradient
#
Head
#
Mask
#
트랜스포머
원문 링크 : Transformer #3 - Overall
