이 Post는 아래 Link의 글을 참고하였습니다. Understanding LSTM Networks LONG SHORT-TERM MEMORY LSTM은 RNN의 특별한 한 종류로써, 긴 의존기간이 필요한 학습을 할 수 있는 능력이 있습니다.
LSTM의 목적은 명확하게 Long-Term Dependency를 제거하고자 Design되었습니다. 0. LSTM의 기본 구조 위의 구조는 tanh를 Activation Function으로 가지는 RNN의 기본적인 구조입니다.
아래의 그림은 LSTM의 기본 Cell 구조를 나타내고 있습니다. LSTM도 기본적으로 RNN과 유사한 구조를 가지지만, 몇 개의 Layer가 추가되었습니다.
본격적으로 하나씩 살펴보기 전에 기호들의 정의를 살펴보도록 하겠습니다. 1. Cell State Cell State는 LSTM의 중요 개념이며, 위의 그림에서 위쪽에 위치한 가로로 뻗은 선을 가리킵니다.
작은 변화만을 가지면서 가진 정보를 거의 그대로 전달한다는 것...
#
Activation
#
tanh
#
Short
#
RNN
#
Output
#
Memory
#
LSTM
#
Long
#
Learning
#
Language
#
Input
#
Function
#
Forget
#
Dependency
#
Deep
#
Cell
#
Term
원문 링크 : LSTM(Long-Short Term Memory)
