역전파
경사 계산의 어려움
경사하강법으로 신경망을 학습하려면 손실에 대한 모든 가중치와 편향의 경사(그래디언트)가 필요.
다층 신경망에서 경사 계산이 어려운 이유.
- 많은 파라미터: 레이어마다 가중치와 편향이 있어 전체 파라미터 수가 매우 큼
- 간접적인 영향: 앞쪽 레이어의 파라미터는 뒤쪽 레이어를 모두 거쳐 손실에 영향을 줌
- 예: W1이 바뀌면 h1, h2, y^가 차례로 바뀌고 손실 L이 바뀜
- 중복 계산: 파라미터마다 경사를 따로 계산하면 같은 계산을 반복
- 예: W1과 W2의 경사 모두 h2가 변할 때 손실이 얼마나 변하는지(∂L/∂h2)가 필요
이 문제를 해결하는 방법이 역전파.
역전파 알고리즘(backpropagation algorithm)
- 미분의 연쇄 규칙(chain rule)을 이용해 모든 파라미터의 경사를 한 번의 역방향 계산으로 구하는 방법
- 여러 파라미터에 공통으로 필요한 계산은 한 번만 하고 결과를 공유
- 깊은 신경망을 현실적인 시간 안에 학습할 수 있게 만든 핵심 기법
순방향 전파(forward pass)
- 앞 레이어의 출력을 입력으로 받음
- 가중치와 편향을 적용하고 활성화 함수를 거쳐 출력을 계산
- 출력을 다음 레이어로 전달
역방향 전파(backward pass)
- 뒤쪽 레이어에서 자신의 출력에 대한 경사를 전달받음
- 전달받은 경사에 자신의 변화율을 곱해 두 가지 경사를 계산
- 파라미터의 경사: 이 레이어의 가중치와 편향을 수정하는 데 사용
- 입력의 경사: 바로 앞 레이어로 전달. 앞 레이어에는 자신의 출력에 대한 경사가 됨
- 하나의 값이 여러 경로를 통해 손실에 영향을 주면 각 경로의 경사를 더함
전체 과정
더 알아보기: 미분의 연쇄 규칙
f와 g가 미분 가능한 함수이고, y=f(u), u=g(x)이면 다음이 성립.
dxdy=dudydxdu- 미분값: 한 값이 조금 변할 때 다음 값이 얼마나 변하는지를 나타냄
- 연쇄 규칙: 여러 함수가 이어져 있을 때 처음의 변화가 마지막 결과에 미치는 영향을 계산하는 방법
- 각 단계의 변화율을 곱해 계산
다층 신경망의 계산도 여러 함수가 이어진 구조.
x→h1→h2→y^→L- x: 입력
- h1,h2: 은닉층의 출력
- y^: 예측값
- L: 손실
h1이 손실 L에 미치는 영향은 h1 뒤에 이어진 변화율을 차례로 곱해 계산.
∂h1∂L=∂y^∂L∂h2∂y^∂h1∂h2- 연쇄 규칙으로 신경망 뒤쪽에서 계산한 변화율을 앞쪽으로 전달 가능
사라지는 경사 vanishing gradient
- 사라지는 경사(vanishing gradient): 입력층과 가까운 초반 레이어에 도달하는 경사가 0에 가까워지는 현상
- 역전파에서는 여러 레이어의 변화율을 연속해서 곱함
- 1보다 작은 값을 여러 번 곱하면 결과가 빠르게 0에 가까워짐
예를 들어 각 레이어에서 곱해지는 변화율이 0.25이면, 손실에서 멀어질수록 경사가 다음처럼 작아짐.
| 손실에서 거슬러 올라간 레이어 수 | 경사에 곱해지는 값 |
|---|---|
| 1 | 0.25 |
| 3 | 0.253≈0.016 |
| 5 | 0.255≈0.001 |
| 10 | 0.2510≈0.000001 |
- 출력층과 가까운 레이어는 경사를 충분히 받음
- 10개 레이어를 거슬러 올라간 레이어는 처음 경사의 약 100만분의 1만 받음

- 아래 그림의 흐린 연결: 경사가 거의 도달하지 않아 학습이 잘 되지 않는 부분
- 출력층 쪽은 진하고 입력층 쪽으로 갈수록 흐려짐
사라지는 경사가 학습에 미치는 영향
- 초반 레이어의 가중치와 편향이 매우 조금만 바뀜
- 초반 레이어의 학습이 느려지거나 충분히 이루어지지 않음
- 초반 레이어는 입력에서 기본적인 특징을 뽑아 뒤쪽 레이어로 넘기는 역할
- 초반 레이어가 학습되지 않으면 뒤쪽 레이어도 좋은 결과를 내기 어려움
- 레이어를 더 쌓아도 성능이 오르지 않는 원인이 됨
발생하기 쉬운 경우
- 레이어가 깊을수록 곱하는 횟수가 늘어 문제가 커짐
- 시그모이드 활성화 함수 입력이 크거나 작으면 기울기가 거의 0이 되어, 이런 구간에서 반복해 사용될 때 발생하기 쉬움

- 기울기가 급한 부분: 입력 0 근처. 접선의 기울기는 0.25로 시그모이드에서 가장 큼
- 기울기가 완만한 부분: 입력이 크거나 작은 양쪽 끝. 입력 5에서 접선의 기울기는 약 0.007
- 가장 급한 부분의 기울기도 0.25이므로, 시그모이드를 쓰는 레이어를 여러 번 거치면 위 표처럼 경사가 빠르게 작아짐
- 완만한 부분에 머무는 레이어가 많을수록 경사는 더 빨리 0에 가까워짐
퀴즈
역방향 전파는 어느 방향으로 경사를 계산합니까?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.