[모두의 딥러닝] #3-8. 오차역전파 : 은닉층 오차 수정과 계산

오차역전파에 또 공격당한 나

 

---

#2-8. 오차역전파

 

1. 은닉층의 오차 수정하기 

 

은닉층에 있는 가중치 w(11)을 업데이트 해보자. 

 

W(t+1)=W * t ​− ∂오차/∂W​  이므로

w11(t+1)=w11* t ​− ∂오차 Y out /∂w11

이 때 Y h이 아닌 Y out​인 이유는, Yh 는 은닉층 안에 있기 때문에 그 값을 알 수 없기 때문이다. 알 수 있는 것은 출력층에 있으므로 Y out에서 시작해야 한다. 

∂오차 Y out /∂w11 은 아래와 같이 알아볼 수 있다 (출력층과 유사) 

 

모든 것은 같지만 yh1으로 미분을 진행해야 한다. 이는 아래와 같이 계산할 수 있다. 

 

2. 은닉층 오차 계산법 

 

 

즉 이를 바탕으로 출력층과 은닉층의 오차 업데이트를 정리해보면 아래와 같다. 

 

 

지금까지

7차과정을 착실하게 밟은 문과생도 이해할 수 있는 출력층 은닉층 오차 업데이트 식이었다. 

 

반드시 알아야 하는 영역은 아래와 같으며 약간만 시간을 투자하면 다들 금방 이해할수 있지 않을까 싶다..! 

1. 미분 (편미분과 합성함수의 체인룰)

2. 오차역전파 계산 그래프에 대한 이해 (근데 사실 그렇게 어려운 구조는 아님)