다층 신경망
XOR 문제
- XOR(exclusive OR): 두 입력 중 하나만 1일 때 1
- OR와 같지만 두 입력이 모두 1이면 0
- 일상적인 의미의 "또는"에 가까움
| x1 | x2 | OR | XOR |
|---|---|---|---|
| 0 | 0 | 0 | 0 |
| 0 | 1 | 1 | 1 |
| 1 | 0 | 1 | 1 |
| 1 | 1 | 1 | 0 |

- 출력 1인 (0,1), (1,0)과 출력 0인 (0,0), (1,1)이 대각선으로 엇갈림
- 직선 하나로 나눌 수 없으므로 단층 퍼셉트론으로 표현 불가
다층 신경망으로 XOR 해결
- 퍼셉트론 여러 개를 층으로 연결하면 XOR 표현 가능
- 앞 층 뉴런의 출력이 다음 층 뉴런의 입력
- XOR의 경우:
- 은닉 뉴런 h1: OR, x1+x2−0.5≥0이면 1
- 은닉 뉴런 h2: AND, x1+x2−1.5≥0이면 1
- 출력 뉴런 y^: h1−h2−0.5≥0이면 1
- OR가 1인 경우 중 AND도 1인 경우, 즉 두 입력이 모두 1인 경우를 제외
| x1 | x2 | h1 (OR) | h2 (AND) | y^ |
|---|---|---|---|---|
| 0 | 0 | 0 | 0 | 0 |
| 0 | 1 | 1 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 |
| 1 | 1 | 1 | 1 | 0 |

- 입력 공간에서의 해석: 은닉 뉴런마다 직선 하나를 긋고, 출력 뉴런이 OR 경계 위쪽이면서 AND 경계 아래쪽인 띠 영역만 1로 판정
- 은닉층 공간에서의 해석: (0,1)과 (1,0)이 모두 (h1,h2)=(1,0)으로 바뀌므로 출력 뉴런은 직선 하나로 분류 가능
- 은닉층이 직선으로 나눌 수 없던 데이터를 직선으로 나눌 수 있는 표상(representation)으로 변환
다층 신경망 multi-layer perceptron
- 다층 신경망(multi-layer perceptron, MLP): 여러 층의 뉴런을 연결한 신경망
- 입력층(input layer): 특성을 받는 층
- 은닉층(hidden layer): 입력층과 출력층 사이에서 입력을 새로운 표상으로 바꾸는 층
- 학습 과정에서 과제 수행에 필요한 특징을 학습
- 입력층에 가까운 은닉층은 단순한 특징을, 출력층에 가까운 은닉층은 복잡한 특징을 학습
- 은닉층의 수와 크기는 정해진 답이 없어 여러 구성을 시도해 성능이 가장 좋은 것으로 결정
- 출력층(output layer): 최종 예측을 내는 층

비선형 활성화 함수
- 은닉층의 활성화 함수가 선형이면 층을 여러 개 쌓아도 전체가 하나의 선형 함수
- 이 경우 XOR 표현 불가
- XOR 예시가 풀린 것도 계단 함수가 비선형이기 때문
- 층 사이에 비선형 활성화 함수를 두고 은닉층을 늘리면 더 복잡한 결정 경계도 표현 가능

다층 신경망에서 딥러닝으로
- 딥러닝(deep learning): 은닉층을 여러 개 쌓은 깊은 신경망(deep neural network)으로 학습하는 방법
- "깊다"는 층이 많다는 뜻
- 딥러닝 이전에는 과제 특성에 맞게 여러 단계의 처리 과정을 거쳐 특징을 추출
- 표상 학습(representation learning): 사람이 특징을 직접 설계하지 않고, 과제에 필요한 표상을 데이터에서 학습
- 신경망에서는 각 은닉층의 출력이 입력의 새로운 표상
- 계층적 표상: 층이 깊을수록 앞 층의 특징을 조합해 더 복잡한 특징을 표상
- 예: 이미지에서 선과 모서리 → 질감과 모양 → 물체의 부분 → 물체 전체
- 종단간 학습(end-to-end learning): 딥러닝에서는 원 데이터를 거의 그대로 입력하여 원하는 출력을 얻음

짧은 역사
- 1969년: 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)가 단층 퍼셉트론이 XOR를 표현할 수 없다는 한계를 지적
- 이후 신경망 연구가 한동안 침체
- 1986년: 데이비드 러멜하트(David Rumelhart), 제프리 힌턴(Geoffrey Hinton), 로널드 윌리엄스(Ronald Williams)가 역전파로 다층 신경망을 학습하는 방법을 널리 알림
- 2010년대: 대규모 데이터, GPU, ReLU 같은 학습 기법이 갖춰지며 깊은 신경망 학습이 실용화
- 2012년 AlexNet이 이미지 인식 대회 ImageNet에서 큰 격차로 우승하며 딥러닝 확산
퀴즈
XOR 문제가 다층 신경망의 필요성을 보여주는 이유는 무엇입니까?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.