9. CNN-2

CNN(Convolutional Neural Network) 역전파에 대한 정리

CNN 역전파 (Backpropagation for CNN)

Convolution layer 연산

• 보통 CNN 구조는 Convolutional Layer, Activation Function, Pooling 순으로 진행됨.

Backpropagation 연산

• 출력층을 덧붙여서 위와 같이 표현할 때, 출력값을 $o_1$, 실제값을 $y_1$, 손실함수를 $L$이라고 함.
• 계산상 편의를 위해 손실함수를 특정하지 않고, 활성화 함수(f, g)는 모두 ReLU로 함.
• ReLU 함수

학습 대상 가중치

• 위 모델에서 학습대상 가중치들은 컨볼루션 필터의 4개($w_{00}^{l+1}$, $\dots$, $w_{11}^{l+1}$)와 maxpooling 이후 출력층 연결 가중치 1개($w_0^{l+2}$)가 된다.

출력층 레이어 Gradient 계산

• 손실함수를 $L$이라 하고, $L$에 대한 출력층 가중치 $w_0^{l+2}$의 편미분은 다음과 같다.

$$\frac{\partial L}{\partial w_0^{l+2}}=\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial w_0^{l+2}}=\frac{\partial L}{\partial o_1}{x}_{00}^{l+1}$$

• 이 때, $\frac{\partial o_1}{\partial w_0^{l+2}}$ 를 풀어보면,

$$o_1=g(x_{00}^{l+1})=\text{ReLU}(a),$$ $$a=x_{00}^{l+1}\times w_0^{l+2},$$ $$\frac{\partial o_1}{\partial w_0^{l+2}}=\frac{\partial o_1}{\partial a}\frac{\partial a}{\partial w_0^{l+2}},$$ $$\frac{\partial o_1}{\partial a}=1(\text{if a > 0}),\frac{\partial a}{\partial w_0^{l+2}}=x_{00}^{l+1}$$ $$\therefore \frac{\partial o_1}{\partial w_0^{l+2}}=\frac{\partial o_1}{\partial a}\frac{\partial a}{\partial w_0^{l+2}}=1\times x_{00}^{l+1}=x_{00}^{l+1}$$

maxpooling 연산 가중치

• max-pooling의 경우 $a_{00}^{l+1},\dots ,a_{11}^{l+1}$ 중 가장 큰 값에 대해서 항등함수(identity)의 결과를 출력함
• 즉 4개의 가중치 중 단 1개가 기울기 1로 존재하며, 나머지에 대해선 기울기가 0이됨
• $(a^{\prime },b^{\prime })$ 을 활성화 값의 최대값 위치라고 할 때,

$$\begin{array}{rl}\frac{\partial L}{\partial poo{l}_{a^{\prime },b^{\prime }}}& =\frac{\partial L}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial poo{l}_{a^{\prime },b^{\prime }}}\\ & \\ & =\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial poo{l}_{a^{\prime },b^{\prime }}}\\ & \\ & =\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\times 1\end{array}$$

• 이 때, $\frac{\partial o_1}{\partial x_{00}^{l+1}}$ 를 풀어보면 위에서 $\frac{\partial o_1}{\partial w_0^{l+2}}$ 을 전개한 것과 같은 방식으로 아래와 같은 해가 나옴

$$\frac{\partial o_1}{\partial x_{00}^{l+1}}=w_0^{l+2}$$

• 따라서,

$$\therefore \frac{\partial L}{\partial poo{l}_{a^{\prime },b^{\prime }}}=\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial poo{l}_{a^{\prime },b^{\prime }}}=\frac{\partial L}{\partial o_1}{w}_0^{l+2}$$

filter 가중치

• 컨볼루션 filter 가중치($w_{00}^{l+1}$, $\dots$, $w_{11}^{l+1}$) 중 $w_{00}^{l+1}$의 기울기부터 살펴본다
• $w_{00}^{l+1}$ 는 이전 픽셀 값 $x_{00}^l,x_{01}^l,x_{10}^l,x_{11}^l$에 대하여 영향을 준다
• 이에 따라 $w_{00}^{l+1}$의 기울기는 아래와 같이 전개함\
• 컨볼루션 filter의 크기는 $a^{l+1}\times b^{l+1}$

$$\frac{\partial L}{\partial w_{00}^{l+1}}=\sum _{a=0}^{a^{l+1}-1}\sum _{b=0}^{b^{l+1}-1}\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial a_{ab}^{l+1}}\frac{\partial a_{ab}^{l+1}}{\partial w_{00}^{l+1}}$$

• 나머지 3개의 가중치들도 같은 식에 대입하면 아래와 같이 일반화 할 수 있다

$$\frac{\partial L}{\partial w_{ij}^{l+1}}=\sum _{a=0}^{a^{l+1}-1}\sum _{b=0}^{b^{l+1}-1}\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial a_{ab}^{l+1}}\frac{\partial a_{ab}^{l+1}}{\partial w_{ij}^{l+1}}$$

• 다시 위에서 다룬 pooling에 대한 가중치에 chain rule을 적용하고 나면 최댓값 위치인 ($a^{\prime },b^{\prime }$)을 제외하고 나머지는 기울기가 0이 된다

$$\sum _{a=0}^{a^{l+1}-1}\sum _{b=0}^{b^{l+1}-1}\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial a_{ab}^{l+1}}\frac{\partial a_{ab}^{l+1}}{\partial w_{00}^{l+1}}=\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial a_{a^{\prime }{b}^{\prime }}^{l+1}}\frac{\partial a_{ab}^{l+1}}{\partial w_{ij}^{l+1}}$$

• 따라서 최종 가중치식은 다음과 같다

$$\frac{\partial L}{\partial w_{ij}^{l+1}}=\frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial x_{00}^{l+1}}\frac{\partial x_{00}^{l+1}}{\partial a_{a^{\prime }{b}^{\prime }}^{l+1}}\frac{\partial a_{a^{\prime }{b}^{\prime }}^{l+1}}{\partial w_{ij}^{l+1}}$$

• 모든 가중치의 기울기를 구하고 나면 Gradient Descent 알고리즘으로 각 가중치를 업데이트 할 수 있다

$$w^{(t+1)}\leftarrow w^{(t)}-\eta \frac{\partial L}{\partial w^{(t)}}$$

---

참고

• CNN 역전파 (Backpropagation for CNN)
• [CNN] Backpropagation(역전파), chain rule :: 나가디’s 지식정보방
• CNN의 역전파(backpropagation) · ratsgo’s blog
• CNN 역전파를 이해하는 가장 쉬운 방법