LSTM

https://www.youtube.com/watch?v=HXa7Ah87_gM

* 위 영상을 보고 정리한 글입니다. 문제시 말씀해 주세요! *

---

LSTM은,

- 시계열 데이터를 처리한다. 

- RNN의 장기의존성 문제 약점을 보완하기 위해 나왔다. => LSTM의 셀 상태 (Cell State, CS)라 불리는 정보가 핵심적

 

RNN의 약점, 장기의존성

 

체인룰이 계속해서 늘어남.-> 기울기가 작아짐 -> 학습에 미치는 영향이 미미하다는 뜻 -> 시간적으로 먼 입력값일수록 학습에 미치는 영향이 작아짐

ex. don't / underestimate / your / inner / strength을 번역 => 당신의 / 내면의 / 힘을 / 과소평가하지 / 마세요

don't와 마세요는 의미적으로 가깝지만, 이러한 관계가 반영되지 않고 학습된다면 정확도가 높지 않을 수 있다. 

 

- RNN과 다르게 4개의 게이트가 존재한다. ( forget, input, candidate, output gate)

1. forget gate

- 어떤 정보를 지울지 결정한다

- 지난 은닉상태와 현재입력값을 concatenate(인가)한다.

concatenate는 두 행렬을 나란히 한 개의 행렬로 만드는 것을 의미한다. [123] [456] => [123456]

concatenate 된 현재 입력값은 이전 은닉상태와 현재 입력값이 한데 묶인 일종의 단기기억처럼 된다.

 

- 현재입력값은 모든 게이트들의 입력값이 될 수 있다.

- 안에 시그모이드 함수가 있다. 시그모이드는 0,1 사이값만 리턴하는 함수이다. 

들어오는 입력값을(바로 앞의 과거, 현재) 받아서 가중치를 곱한 뒤, 0,1 사이의 값으로 바꿔준다.

- 바뀐 값들은 CS 값을 만나, element-wise 연산을 하게 된다.

element-wise 연산은 두 행렬을 곱하는데 각각의 원소 별로 곱하는 것을 말한다. 

- 이 과정을 통해 게이트를 지나면서 잊어버려야 할 것들은 잊어버리게 된다.

 

2. input gate

- forget gate와 연산과정은 동일하다.(가중치값만 다름)

- candidate gate와 같이 연산해서 셀상태를 기억해야할 것들로 업데이트한다. 

 

3. candidate gate

- 내부 연산이 시그모이드 함수가 아닌 tanh 함수이다.

tanh함수는 들어오는 값을 -1과 1 사이의 값을 바꾸어 준다.

- 입력값에 가중치를 곱한 뒤, 계산값의 극성은 보존하고, 범위를 -1~1 사이가 되도록 정규화한다.

input gate에서 나온 0~1 사이의 값들과 element-wise 연산을 통해서 어떤 값은 0으로 만들고, 어떤 값은 그대로 놔두는 역할을 한다. 그대로 놔두게 되는 값들은 현재 입력 중 기억해야 할 부분이 된다. 남은 값들을 셀상태에 더하여 업데이트하게 된다.

 

4. output gate

tanh와 협력해 업데이트된 셀 상태에서 현재 입력값의 특성을 더 반영하는 새로운 히든 상태를 만들어 내는 것

히든상태는 셀상태에 비해 좀 더 short-term한 특성을 가지게 된다. 이는 같은 입력으로도 short-term에 더 가까운 정보를 담게 되는 것이다. 

 

역전 파는 손실함수에 대한 각각의 미분값을 구한다.(체인룰로)