[개발자를 위한 LLM] 피드 포워드 신경망, 잔차연결, 레이어 정규화 (Transformer Feed Forward Neural Network, Residual Connection, Layer Nomalization)

트랜스포머의 마지막 포스팅 입니다. 피드 포워드 신경망, 잔차 연결, 레이어 정규화에 대해서 알아보겠습니다. 

피드 포워드 신경망 (Feed Forward Neural Network)트랜스포머 모델 내의 각 인코더와 디코더 레이어는 피드포워드 신경망(FNN)을 포함하고 있습니다. FNN은 인코더와 디코더의 각 레이어에서 입력을 받아 비선형 변환을 수행하는 완전 연결 네트워크입니다.

구체적으로, FNN은 두 개의 선형 변환과 그 사이에 위치하는 활성화 함수(예: ReLU)로 구성됩니다.FNN은 어텐션 레이어의 출력에서 나온 정보를 처리하여, 각 위치의 숨겨진 상태를 독립적으로 업데이트 하여, 각 위치의 정보를 더 풍부하고 복잡한 표현으로 변환해주는 역할 수행합니다.  잔차 연결 (Residual Connec.....