logo

역전파

경사 계산의 어려움

순방향 전파는 입력 x에서 가중치 W1, W2, W3을 거쳐 은닉층 h1, h2, 예측값 ŷ, 손실 L을 차례로 계산하고, 손실 L에서 각 가중치로 향하는 점선으로 손실에 대한 가중치의 경사 ∂L/∂W3, ∂L/∂W2, ∂L/∂W1을 나타낸 그림

경사하강법으로 신경망을 학습하려면 손실에 대한 모든 가중치와 편향의 경사(그래디언트)가 필요.

다층 신경망에서 경사 계산이 어려운 이유.

  • 많은 파라미터: 레이어마다 가중치와 편향이 있어 전체 파라미터 수가 매우 큼
  • 간접적인 영향: 앞쪽 레이어의 파라미터는 뒤쪽 레이어를 모두 거쳐 손실에 영향을 줌
    • 예: W1​이 바뀌면 h1​, h2​, y^​가 차례로 바뀌고 손실 L이 바뀜
  • 중복 계산: 파라미터마다 경사를 따로 계산하면 같은 계산을 반복
    • 예: W1​과 W2​의 경사 모두 h2​가 변할 때 손실이 얼마나 변하는지(∂L/∂h2​)가 필요

이 문제를 해결하는 방법이 역전파.

역전파 알고리즘(backpropagation algorithm)

  • 미분의 연쇄 규칙(chain rule)을 이용해 모든 파라미터의 경사를 한 번의 역방향 계산으로 구하는 방법
  • 여러 파라미터에 공통으로 필요한 계산은 한 번만 하고 결과를 공유
  • 깊은 신경망을 현실적인 시간 안에 학습할 수 있게 만든 핵심 기법

순방향 전파(forward pass)

은닉층 2가 이전 레이어의 출력 h1을 받아 가중치 W2와 편향 b2를 적용하고 활성화 함수를 거쳐 출력 h2를 다음 레이어로 전달하는 과정

  • 앞 레이어의 출력을 입력으로 받음
  • 가중치와 편향을 적용하고 활성화 함수를 거쳐 출력을 계산
  • 출력을 다음 레이어로 전달

역방향 전파(backward pass)

은닉층 2가 뒤쪽 레이어에서 ∂L/∂h2를 받아 자신의 변화율을 곱하고, 파라미터의 경사 ∂L/∂W2는 가중치와 편향으로, 입력의 경사 ∂L/∂h1은 앞 레이어로 보내는 과정

  • 뒤쪽 레이어에서 자신의 출력에 대한 경사를 전달받음
  • 전달받은 경사에 자신의 변화율을 곱해 두 가지 경사를 계산
    • 파라미터의 경사: 이 레이어의 가중치와 편향을 수정하는 데 사용
    • 입력의 경사: 바로 앞 레이어로 전달. 앞 레이어에는 자신의 출력에 대한 경사가 됨
  • 하나의 값이 여러 경로를 통해 손실에 영향을 주면 각 경로의 경사를 더함

전체 과정

순방향 전파는 입력 x에서 가중치 W1, W2, W3을 거쳐 은닉층 h1, h2, 예측값 ŷ, 손실 L을 차례로 계산하고, 역방향 전파는 손실에서 거꾸로 ∂L/∂ŷ, ∂L/∂h2, ∂L/∂h1을 전달하면서 각 레이어에서 곡선 점선을 따라 자신의 가중치로 돌아가 ∂L/∂W3, ∂L/∂W2, ∂L/∂W1을 계산하는 과정

더 알아보기: 미분의 연쇄 규칙

f와 g가 미분 가능한 함수이고, y=f(u), u=g(x)이면 다음이 성립.

dxdy​=dudy​dxdu​
  • 미분값: 한 값이 조금 변할 때 다음 값이 얼마나 변하는지를 나타냄
  • 연쇄 규칙: 여러 함수가 이어져 있을 때 처음의 변화가 마지막 결과에 미치는 영향을 계산하는 방법
    • 각 단계의 변화율을 곱해 계산

다층 신경망의 계산도 여러 함수가 이어진 구조.

x→h1​→h2​→y^​→L
  • x: 입력
  • h1​,h2​: 은닉층의 출력
  • y^​: 예측값
  • L: 손실

h1​이 손실 L에 미치는 영향은 h1​ 뒤에 이어진 변화율을 차례로 곱해 계산.

∂h1​∂L​=∂y^​∂L​∂h2​∂y^​​∂h1​∂h2​​
  • 연쇄 규칙으로 신경망 뒤쪽에서 계산한 변화율을 앞쪽으로 전달 가능

사라지는 경사 vanishing gradient

  • 사라지는 경사(vanishing gradient): 입력층과 가까운 초반 레이어에 도달하는 경사가 0에 가까워지는 현상
    • 역전파에서는 여러 레이어의 변화율을 연속해서 곱함
    • 1보다 작은 값을 여러 번 곱하면 결과가 빠르게 0에 가까워짐

예를 들어 각 레이어에서 곱해지는 변화율이 0.25이면, 손실에서 멀어질수록 경사가 다음처럼 작아짐.

손실에서 거슬러 올라간 레이어 수 경사에 곱해지는 값
1 0.25
3 0.253≈0.016
5 0.255≈0.001
10 0.2510≈0.000001
  • 출력층과 가까운 레이어는 경사를 충분히 받음
  • 10개 레이어를 거슬러 올라간 레이어는 처음 경사의 약 100만분의 1만 받음

위쪽은 모든 연결이 진하게 표시된 깊은 신경망, 아래쪽은 역전파 방향을 따라 출력층에서 멀어질수록 연결이 흐려져 입력층 쪽이 거의 보이지 않는 사라지는 경사

  • 아래 그림의 흐린 연결: 경사가 거의 도달하지 않아 학습이 잘 되지 않는 부분
  • 출력층 쪽은 진하고 입력층 쪽으로 갈수록 흐려짐

사라지는 경사가 학습에 미치는 영향

  • 초반 레이어의 가중치와 편향이 매우 조금만 바뀜
  • 초반 레이어의 학습이 느려지거나 충분히 이루어지지 않음
  • 초반 레이어는 입력에서 기본적인 특징을 뽑아 뒤쪽 레이어로 넘기는 역할
    • 초반 레이어가 학습되지 않으면 뒤쪽 레이어도 좋은 결과를 내기 어려움
    • 레이어를 더 쌓아도 성능이 오르지 않는 원인이 됨

발생하기 쉬운 경우

  • 레이어가 깊을수록 곱하는 횟수가 늘어 문제가 커짐
  • 시그모이드 활성화 함수 입력이 크거나 작으면 기울기가 거의 0이 되어, 이런 구간에서 반복해 사용될 때 발생하기 쉬움

시그모이드 곡선에서 입력 0의 접선은 기울기 0.25로 가파르고, 입력 5의 접선은 기울기 약 0.007로 거의 수평인 그래프

  • 기울기가 급한 부분: 입력 0 근처. 접선의 기울기는 0.25로 시그모이드에서 가장 큼
  • 기울기가 완만한 부분: 입력이 크거나 작은 양쪽 끝. 입력 5에서 접선의 기울기는 약 0.007
  • 가장 급한 부분의 기울기도 0.25이므로, 시그모이드를 쓰는 레이어를 여러 번 거치면 위 표처럼 경사가 빠르게 작아짐
  • 완만한 부분에 머무는 레이어가 많을수록 경사는 더 빨리 0에 가까워짐

퀴즈

문제 1 / 5맞음: 0힌트: 0틀림: 0채점중: 0남음: 5

역방향 전파는 어느 방향으로 경사를 계산합니까?

  • ○손실에서 시작해 입력층 방향으로
  • ○입력층에서 시작해 손실 방향으로
  • ○가운데 은닉층에서 양쪽 끝으로
  • ○레이어 순서와 관계없이 무작위로

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
다층 신경망 실습