사라지는 RNN 기울기(기울기 소실) 문제
- t1에서의 데이터 입력은 RNN 매개변수 업데이트 또는 t1에서의 예측에 강력한 영향(큰 기울기)을 가집니다.
- 그러나 t2, t3, …는 계속해서 새로운 데이터를 받기 때문에 새로운 입력의 영향에 가려지고 t1 데이터의 영향은 점차 사라진다.
- RNN의 단점은 장기 기억이 없다는 것입니다.
-> 현재 시점과 가까운 시점의 데이터만 고려하여 모델링을 한다면 장기적 관점이 필요한 경우 성능이 떨어진다.
LSTM의 구조
– 4골
- (1) Forgot Gate: 과거 정보 폐기 여부 결정
- (2) 출입 게이트 : 저장된 정보 이동
- (3) 메모리 셀: 현재 정보 저장 여부 결정
- (4) 출력 게이트: 출력할 값을 결정합니다.