딥러닝 모델 중 하나로, 시퀀스 데이터를 처리하는데 탁월한 성능 어텐션 메커니즘을 중심으로 구성 (RNN, CNN 과 같은 정통적인 순차적 구조 없이 입출력 사이의 전역적인 상호작용) 배경 기존 RNN 기반 모델의 장기의존성문제와 병렬처리 어려움을 해결하기 위해 등장 주로 자연어 처리 작업에서 문장을 처리하는데 사용 기계번역, 챗봇, 요약 등 다양한 응용 분야에서 활용 구조 인코더와 디코더로 구성 인코더 : 입력 시퀀스를 고정된 크기의 벡터 표현으로 변환 디코더 : 인코더 출력과 이전에 생성된 출력을 사용하여 출력 시퀀스를 하나씩 예측 각 인코더, 디코더는 여러 개의 층으로 구성되어 있으며, 층 내부에는 다수의 어텐션 메커니즘인 Multi-Head Attention 이 적용 구성요소 : 어텐션 메커니즘 : 트랜스포머의 핵심 구성 요소로써 입력 시퀀스의 다른 위치들 간 상호작용을 모델링. Self-Attention 이라는 변형된 어텐선 메커니즘 사용하여 입력의 다른 위치들 간 상대적 ...
원문 링크 : 트랜스포머 (Transformer) 모델
