Long Short-Term Memory (LSTM)

LSTM : RNN 의 단점을 보완한 모형으로, the problems of long-term dependencies 를 해결함 RNN은 위와 같은 방식으로 값을 전달하게 되는데 아래와 같은 문제가 발생한다고 한다. 타우값이 (-1,1) 이라서 앞의 정보에 반복적으로 곱해지다 보면 앞의 정보를 충분히 전달 할 수 없고, 이러한 문제를 long-trem dependencies 이라 한다고 한다.

LSTM의 구조를 봐보면 아래와 같다. Forget Gate : 과거 정보를 얼마나 잊을 지 결정 Input Gate & Candidate : 현 시점의 정보를 얼마나 사용할 건지 & 현 시점의 정보 계산 Memory Cell Calculate : memory cell 과거 정보와 현재 정보를 단순히 저장함 Out.....