역전파

미분의 연쇄 규칙 chain rule

$f$ 와 $g$ 가 미분 가능한 함수이고, $y = f (u)$ , $u = g (x)$ 이면 다음이 성립.

\frac{d y}{d x} = \frac{d y}{d u} \frac{d u}{d x}

미분값은 한 값이 조금 변할 때 다음 값이 얼마나 변하는지를 나타냄. 연쇄 규칙은 여러 함수가 이어져 있을 때 각 단계의 변화율을 곱하여 처음의 변화가 마지막 결과에 미치는 영향을 계산하는 방법.

다층 신경망의 계산도 여러 함수가 이어진 구조.

x \to h_{1} \to h_{2} \to \overset{y}{^} \to L

$h_{1}$ 이 손실 $L$ 에 미치는 영향은 $h_{1}$ 뒤에 이어진 변화율을 차례로 곱해 계산.

\frac{\partial L}{\partial h _{1}} = \frac{\partial L}{\partial y ^} \frac{\partial y ^}{\partial h _{2}} \frac{\partial h _{2}}{\partial h _{1}}

즉, 연쇄 규칙은 신경망 뒤쪽에서 계산한 변화율을 앞쪽으로 전달할 수 있게 함.

역전파(backpropagation)는 연쇄 규칙을 이용하여 손실에 대한 각 파라미터의 경사를 효율적으로 계산하는 방법. 각 파라미터의 경사를 처음부터 따로 계산하지 않고, 뒤쪽 레이어에서 계산한 결과를 앞쪽 레이어의 계산에 재사용.

신경망의 한 번 학습은 다음 순서로 진행.

순방향: 입력 → 은닉층 1 → 은닉층 2 → 예측값 → 손실
역방향: 입력 ← 은닉층 1 ← 은닉층 2 ← 예측값 ← 손실

각 레이어는 뒤쪽에서 전달받은 경사에 자신의 변화율을 곱함. 이렇게 계산한 경사를 바로 앞 레이어로 다시 전달. 하나의 값이 여러 경로를 통해 손실에 영향을 주면 각 경로의 영향을 더함.

역전파에서는 여러 레이어의 변화율을 연속해서 곱함. 작은 값이 여러 번 곱해지면 입력층과 가까운 초반 레이어에 도달하는 경사가 0에 가까워질 수 있음. 이를 사라지는 경사(vanishing gradient)라고 함.

사라지는 경사 문제

퀴즈

문제 1 / 5맞음: 0힌트: 0틀림: 0채점중: 0남음: 5

여러 함수가 이어져 있을 때 연쇄 규칙으로 전체 변화율을 구하는 방법은 무엇입니까?

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

여러 함수가 이어져 있을 때 연쇄 규칙으로 전체 변화율을 구하는 방법은 무엇입니까?

중간값 $u$ 를 거쳐 $x$ 가 $y$ 에 미치는 영향을 $d y / d u$ 와 $d u / d x$ 로 나타내 보세요.

각 단계의 변화율을 곱한다각 단계의 변화율을 더한다가장 큰 변화율 하나만 선택한다각 단계의 변화율을 평균한다

각 단계의 변화율을 곱한다

신경망의 한 번 학습에서 계산이 진행되는 순서로 알맞은 것은 무엇입니까?

먼저 예측과 손실을 구한 다음 경사를 계산하고, 그 경사로 파라미터를 바꿉니다.

순방향 전파 → 역방향 전파 → 파라미터 수정역방향 전파 → 순방향 전파 → 파라미터 수정파라미터 수정 → 순방향 전파 → 역방향 전파순방향 전파 → 파라미터 수정 → 역방향 전파

순방향 전파 → 역방향 전파 → 파라미터 수정

역전파가 각 파라미터의 경사를 효율적으로 계산하는 핵심 방법은 무엇입니까?

손실에서 입력층 방향으로 이동하면서 이미 구한 중간 결과를 어떻게 활용하는지 생각해 보세요.

뒤쪽 레이어에서 계산한 경사를 앞쪽 레이어의 계산에 재사용한다각 파라미터의 경사를 입력부터 매번 따로 계산한다출력층의 파라미터에 대해서만 경사를 계산한다손실 함수 없이 예측값만으로 경사를 계산한다

뒤쪽 레이어에서 계산한 경사를 앞쪽 레이어의 계산에 재사용한다

순방향 전파에서 역전파에 필요한 중간값을 저장하는 이유는 무엇입니까?

역방향 전파에서는 각 레이어가 순방향 전파에서 받은 입력과 만든 출력을 다시 활용합니다.

역방향 전파에서 각 레이어의 변화율을 계산하는 데 사용하기 위해손실을 계산하기 전에 파라미터를 수정하기 위해입력값을 변환하지 않고 출력층까지 전달하기 위해훈련 데이터의 크기를 자동으로 줄이기 위해

역방향 전파에서 각 레이어의 변화율을 계산하는 데 사용하기 위해

사라지는 경사에 대한 설명으로 올바른 것을 모두 고르세요.

손실에서 멀리 떨어진 레이어까지 작은 변화율이 반복해서 곱해지는 상황을 생각해 보세요.

작은 변화율이 여러 번 곱해지면 초반 레이어의 경사가 0에 가까워질 수 있다초반 레이어의 파라미터가 매우 조금만 바뀌어 학습이 느려질 수 있다레이어가 깊을수록 문제가 커질 수 있다역전파할수록 경사가 항상 커져 초반 레이어가 지나치게 빨리 학습한다

작은 변화율이 여러 번 곱해지면 초반 레이어의 경사가 0에 가까워질 수 있다, 초반 레이어의 파라미터가 매우 조금만 바뀌어 학습이 느려질 수 있다, 레이어가 깊을수록 문제가 커질 수 있다