안녕하세요, 이번 Post에서는 Transformer의 Encoder에 대해서 자세히 알아보도록 하겠습니다. Transformer Encoder의 각 부분을 구체적으로 하나씩 알아보도록 하겠습니다. 0.
Tokenizer & Input Embedding Layer Embedding Layer에 문장 그대로 입력할 수 없기 때문에 문장을 Model이 사용할 수 있는 Vector 형태로 변환해야 합니다. Tokenizer를 이용해 문장을 Token 단위로 나누고, 나눈 Token을 Embedding Layer에 입력하여 Model이 이해할 수 있는 Vector 형태로 만듭니다.
Transformer는 WordPiece Tokenizer를 사용하여 Token을 나누며, Transformer의 Embedding Layer는 각 Token을 512 크기의 Vector로 출력합니다. 1. Positional Encoding Transformer는 이전의 RNN / LSTM을 이용한 Sequen...
#
attention
#
인코더
#
어텐션
#
디코더
#
Transformer
#
Positional
#
Multi
#
GPT
#
Encoder
#
Embedding
#
Decoder
#
트랜스포머
원문 링크 : Transformer #4 - Encoder Detail
