logo

다층 신경망

XOR 문제

  • XOR(exclusive OR): 두 입력 중 하나만 1일 때 1
    • OR와 같지만 두 입력이 모두 1이면 0
    • 일상적인 의미의 "또는"에 가까움
x1​ x2​ OR XOR
0 0 0 0
0 1 1 1
1 0 1 1
1 1 1 0

XOR의 네 점에서 출력 1과 0이 대각선으로 엇갈려 직선 하나로 나눌 수 없는 모습

  • 출력 1인 (0,1), (1,0)과 출력 0인 (0,0), (1,1)이 대각선으로 엇갈림
  • 직선 하나로 나눌 수 없으므로 단층 퍼셉트론으로 표현 불가

다층 신경망으로 XOR 해결

  • 퍼셉트론 여러 개를 층으로 연결하면 XOR 표현 가능
    • 앞 층 뉴런의 출력이 다음 층 뉴런의 입력
  • XOR의 경우:
    • 은닉 뉴런 h1​: OR, x1​+x2​−0.5≥0이면 1
    • 은닉 뉴런 h2​: AND, x1​+x2​−1.5≥0이면 1
    • 출력 뉴런 y^​: h1​−h2​−0.5≥0이면 1
      • OR가 1인 경우 중 AND도 1인 경우, 즉 두 입력이 모두 1인 경우를 제외
x1​ x2​ h1​ (OR) h2​ (AND) y^​
0 0 0 0 0
0 1 1 0 1
1 0 1 0 1
1 1 1 1 0

입력 공간에서는 두 은닉 뉴런의 경계 사이가 출력 1이고, 은닉층 공간에서는 직선 하나로 출력 1과 0이 나뉘는 모습

  • 입력 공간에서의 해석: 은닉 뉴런마다 직선 하나를 긋고, 출력 뉴런이 OR 경계 위쪽이면서 AND 경계 아래쪽인 띠 영역만 1로 판정
  • 은닉층 공간에서의 해석: (0,1)과 (1,0)이 모두 (h1​,h2​)=(1,0)으로 바뀌므로 출력 뉴런은 직선 하나로 분류 가능
    • 은닉층이 직선으로 나눌 수 없던 데이터를 직선으로 나눌 수 있는 표상(representation)으로 변환

다층 신경망 multi-layer perceptron

  • 다층 신경망(multi-layer perceptron, MLP): 여러 층의 뉴런을 연결한 신경망
  • 입력층(input layer): 특성을 받는 층
  • 은닉층(hidden layer): 입력층과 출력층 사이에서 입력을 새로운 표상으로 바꾸는 층
    • 학습 과정에서 과제 수행에 필요한 특징을 학습
    • 입력층에 가까운 은닉층은 단순한 특징을, 출력층에 가까운 은닉층은 복잡한 특징을 학습
    • 은닉층의 수와 크기는 정해진 답이 없어 여러 구성을 시도해 성능이 가장 좋은 것으로 결정
  • 출력층(output layer): 최종 예측을 내는 층

다층 신경망 구조

비선형 활성화 함수

  • 은닉층의 활성화 함수가 선형이면 층을 여러 개 쌓아도 전체가 하나의 선형 함수
    • 이 경우 XOR 표현 불가
  • XOR 예시가 풀린 것도 계단 함수가 비선형이기 때문
  • 층 사이에 비선형 활성화 함수를 두고 은닉층을 늘리면 더 복잡한 결정 경계도 표현 가능

가중합이 0 이상이면 1, 0보다 작으면 0을 출력해 0에서 값이 끊어지는 계단 함수 그래프

다층 신경망에서 딥러닝으로

  • 딥러닝(deep learning): 은닉층을 여러 개 쌓은 깊은 신경망(deep neural network)으로 학습하는 방법
    • "깊다"는 층이 많다는 뜻
  • 딥러닝 이전에는 과제 특성에 맞게 여러 단계의 처리 과정을 거쳐 특징을 추출
  • 표상 학습(representation learning): 사람이 특징을 직접 설계하지 않고, 과제에 필요한 표상을 데이터에서 학습
    • 신경망에서는 각 은닉층의 출력이 입력의 새로운 표상
  • 계층적 표상: 층이 깊을수록 앞 층의 특징을 조합해 더 복잡한 특징을 표상
    • 예: 이미지에서 선과 모서리 → 질감과 모양 → 물체의 부분 → 물체 전체
  • 종단간 학습(end-to-end learning): 딥러닝에서는 원 데이터를 거의 그대로 입력하여 원하는 출력을 얻음

딥러닝 이전과 이후의 특징 추출 이미지 1

짧은 역사

  • 1969년: 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)가 단층 퍼셉트론이 XOR를 표현할 수 없다는 한계를 지적
    • 이후 신경망 연구가 한동안 침체
  • 1986년: 데이비드 러멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)가 역전파로 다층 신경망을 학습하는 방법을 널리 알림
  • 2010년대: 대규모 데이터, GPU, ReLU 같은 학습 기법이 갖춰지며 깊은 신경망 학습이 실용화
    • 2012년 AlexNet이 이미지 인식 대회 ImageNet에서 큰 격차로 우승하며 딥러닝 확산

퀴즈

문제 1 / 8맞음: 0힌트: 0틀림: 0채점중: 0남음: 8

XOR 문제가 다층 신경망의 필요성을 보여주는 이유는 무엇입니까?

  • ○선형 분리할 수 없는 문제이기 때문
  • ○하나의 선형 결정 경계만으로도 완전히 분리되기 때문
  • ○입력값을 정규화해야만 분리할 수 있기 때문
  • ○출력층의 뉴런을 늘리면 선형 분리할 수 있기 때문

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
문턱값