조금 많이 어렵네요ㅠㅠ 틀린 부분 있다면 언제든지 지적 부탁드립니다. LSTM 탄생 배경 (딥 러닝) 순환 신경망(RNN) 개념 수정 : `22.03.05 순환 신경망 (RNN : Recurrent Neural Network) 심층 신경망의 기본 단위는 ... blog.naver.com 기존 고전적인 RNN 방식은 짧은 시계열 데이터에 대해서만 강한 효과를 띄는 단점이 존재했다.
Cell을 통한 재귀적 학습을 반복할 수록 앞의 데이터가 뒤로 충분히 전달되지 못하는 현상이 발생하기 때문이다. 기존 RNN 구조 그림이다.
만약 첫 번째 입력 변수가 가장 중요한 변수라고 가정해보자. RNN의 재귀적 특징 때문에 학습을 이어갈 수록 이전 층의 정보는 점차 사라지게 될 것이다.
결국 시간이 충분히 긴 상황에서는 첫 번째 입력 변수에 대한 가중치는 잊어버리게 될 것이다. 이를 장기 의존성 문제(The Problem of Long-Term Dependencies)라고 한다.
LSTM을 공부하기 ...
원문 링크 : (딥 러닝) 장단기 메모리(LSTM) 개념
