이번 글에서는 attention score를 구하는 다양한 방법들에 대해서 알아보겠습니다. 총 3가지의 메커니즘을 다룰 것입니다.
하나는 이전 글에서도 사용했던 dot product이며 가장 기본적인 방법일 것입니다. 두 번째는 그 dot product를 조금 더 일반화한 방법입니다.
마지막은 두 hidden 벡터를 concatenation하여 구하는 방법입니다. 자세한 내용은 아래에서 다루겠습니다. dot product 이전 글에서 확인했듯이 어텐션 스코어를 구하는 가장 기본적인 방법입니다.
잠깐 다시 복습하자면 디코더의 h 벡터를 인코더의 h 벡터들과 스칼라곱을 하여 어텐션 스코어를 구하는 방식이었죠. general 다음은 general한 dot product를 사용하는 방법입니다. dot product의 일반적인 표현은 다음과 같습니다. 두 벡터를 스칼라곱하는 과정 사이에 항등행렬 I를 사이에 곱하는 것입니다.
직접 계산해봐도 결과는 같습니다. 만약 가운데에 있는 행렬의 원소 ...
#
attention
#
어텐션
#
스칼라곱
#
메커니즘
#
기울기문제
#
기계번역
#
general
#
dotproduct
#
concate
#
해석가능성
원문 링크 : attention mechanism
![[자료구조 알고리즘 입문] 1. 기본 알고리즘](https://mblogthumb-phinf.pstatic.net/MjAyMjA0MDdfMTYg/MDAxNjQ5MzM2MDU0NzE2.nNsaBxlIKAxTwdPannuP_lYZsZaPuNCfIX4Y9qK0efcg.Ze8xO89ArQaJGKGX3IH9kH6jwrkQ4Lsdi9txd-6pmVkg.PNG.rbdus0715/%BD%BA%C5%A9%B8%B0%BC%A6_2022-04-07_%BF%C0%C8%C4_9.54.06.png?type=w2)
