뉴런과 퍼셉트론

생물학적 뉴런 neuron

뉴런은 동물의 신경계를 구성하는 세포. 수상돌기에서 다른 세포의 신호를 받고, 세포체에서 이를 통합하며, 축삭을 따라 다른 뉴런이나 근육으로 신호를 전달.

수상돌기, 세포체, 축삭으로 이어지는 생물학적 뉴런의 구조

입력의 영향이 역치를 넘으면 활동 전위(action potential)가 발생. 활동 전위는 축삭을 따라 이동하고, 축삭 말단에서 다음 세포로 신호가 전달됨.

역치를 넘은 자극 뒤 활동 전위가 급격히 상승하고 회복되는 과정

생물학적 뉴런과 인공 뉴런(artificial neuron)의 대응은 작동 원리를 이해하기 위한 비유.

생물학적 뉴런	인공 뉴런에서 대응하는 개념
수상돌기로 들어오는 신호	입력 $x_{i}$
시냅스가 신호에 미치는 영향	가중치 $w_{i}$
세포체의 신호 통합	가중합 $z$
활동 전위의 발생과 전달	활성화 함수(activation function)와 출력

인공 뉴런

인공 뉴런은 여러 입력의 가중합에 활성화 함수를 적용해 출력 생성.

z = i = 1 \sum n w_{i} x_{i} + b, a = f (z)

입력 $x_{i}$ : 뉴런이 처리할 특성
가중치 $w_{i}$ : 각 입력이 출력에 미치는 영향
편향 $b$ : 결정 기준을 이동하는 값
활성화 함수 $f$ : 가중합을 출력 $a$ 로 변환하는 함수

가중치와 편향은 데이터에서 학습하는 파라미터(parameter). 활성화 함수가 시그모이드이고 출력이 하나인 뉴런은 로지스틱 회귀와 같은 형태의 확률 모형.

퍼셉트론 perceptron

퍼셉트론은 계단 함수를 사용하는 이항 선형 분류기. 가중합 $z$ 가 기준을 넘는지에 따라 0 또는 1을 출력.

\overset{y}{^} = {10 z > 0 z \leq 0

입력과 가중치, 가중합, 계단 함수, 출력으로 이어지는 퍼셉트론

두 입력을 사용하는 퍼셉트론의 결정 경계는 $w_{1} x_{1} + w_{2} x_{2} + b = 0$ 인 직선. 이 직선의 양쪽을 서로 다른 클래스로 분류. 입력이 더 많으면 결정 경계는 고차원 초평면이 됨.

모형과 파라미터

모형(model)은 입력에서 출력을 만드는 수식이나 프로그램. 파라미터는 같은 모형 안에서 구체적인 함수의 모양을 결정하는 값.

예를 들어 2차 함수 $y = a x^{2} + b x + c$ 에서는 $a$ , $b$ , $c$ 가 파라미터. 값이 달라지면 같은 2차 함수 모형에서도 서로 다른 곡선 생성. 퍼셉트론에서는 가중치 $w_{i}$ 와 편향 $b$ 가 같은 역할.

서로 다른 파라미터로 모양이 달라진 두 개의 2차 함수

단층 퍼셉트론의 한계

수학에서 A OR B는 A와 B 둘 다 참인 경우에도 참
XOR(Exclusive OR): A 또는 B 둘 중에 하나만 참인 경우에 참
선형 분리할 수 없음 → 다층 신경망으로 해결

XOR 문제의 선형 분리 한계

여러 뉴런을 층으로 연결하고 층 사이에 비선형 활성화 함수를 두면 더 복잡한 결정 경계를 표현 가능.

입력층과 여러 은닉층, 출력층으로 구성된 다층 신경망

신경망의 학습과 경사하강법

현대 신경망은 예측 $\overset{y}{^}$ 과 실제값 $y$ 의 차이를 손실 함수 $L$ 로 측정하고, 손실이 감소하는 방향으로 파라미터 $θ$ 를 반복 수정.

θ \leftarrow θ - η \nabla_{θ} L

손실 표면에서 낮은 지점을 향해 이동하는 경사하강법의 경로

고전 퍼셉트론의 계단 함수는 거의 모든 구간에서 기울기가 0이므로 경사하강법에 적합하지 않음. 현대 신경망은 미분 가능한 활성화 함수와 손실 함수를 사용.

퀴즈

문제 1 / 6맞음: 0힌트: 0틀림: 0채점중: 0남음: 6

인공 뉴런이 입력에서 출력을 만드는 순서로 가장 알맞은 것은?

○입력에 가중치를 곱해 더한 뒤 활성화 함수를 적용한다
○입력마다 활성화 함수를 먼저 적용한 뒤 모두 더한다
○편향만 활성화 함수에 넣고 입력은 그대로 출력한다
○입력의 평균을 그대로 출력한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

인공 뉴런이 입력에서 출력을 만드는 순서로 가장 알맞은 것은?

먼저 입력마다 가중치를 곱해 하나의 값으로 모읍니다.

입력에 가중치를 곱해 더한 뒤 활성화 함수를 적용한다입력마다 활성화 함수를 먼저 적용한 뒤 모두 더한다편향만 활성화 함수에 넣고 입력은 그대로 출력한다입력의 평균을 그대로 출력한다

입력에 가중치를 곱해 더한 뒤 활성화 함수를 적용한다

모형과 파라미터를 바르게 설명한 것은?

같은 2차 함수라도 안에 들어가는 숫자가 달라지면 곡선도 달라집니다.

모형은 계산의 틀이고, 파라미터는 그 안에서 학습되는 값이다모형은 학습되는 값이고, 파라미터는 계산의 틀이다모형과 파라미터는 모두 학습되는 숫자이다모형과 파라미터는 모두 학습 전에 정해지는 계산 규칙이다

모형은 계산의 틀이고, 파라미터는 그 안에서 학습되는 값이다

인공 뉴런에서 편향 $b$ 가 하는 일은?

입력이 모두 0일 때도 편향은 가중합에 남습니다.

가중합에 더해져 판단 기준을 옮긴다각 입력에 곱해져 입력의 중요도를 정한다가중합을 0 또는 1로 바꾼다예측이 얼마나 틀렸는지 계산한다

가중합에 더해져 판단 기준을 옮긴다

단층 퍼셉트론 하나로 XOR을 분류할 수 없는 이유는?

XOR의 네 점을 그렸을 때 같은 출력끼리 직선 하나로 나눌 수 있는지 생각해 보세요.

직선 하나로 두 부류를 나눌 수 없기 때문이다입력이 두 개뿐이기 때문이다출력이 0과 1이기 때문이다편향을 사용하기 때문이다

직선 하나로 두 부류를 나눌 수 없기 때문이다

계단 함수를 경사하강법 학습에 쓰기 어려운 이유는?

경사하강법은 값이 조금 바뀔 때 손실이 어떻게 달라지는지 알아야 합니다.

대부분의 구간에서 기울기가 0이기 때문이다대부분의 구간에서 기울기가 1이기 때문이다입력이 늘면 기울기도 늘기 때문이다학습할 때마다 기울기가 무작위로 바뀌기 때문이다

대부분의 구간에서 기울기가 0이기 때문이다

경사하강법은 파라미터를 어떻게 바꾸는가?

학습의 목표는 예측이 얼마나 틀렸는지를 나타내는 손실을 작게 만드는 것입니다.

손실이 줄어드는 방향으로 조금씩 바꾼다손실이 늘어나는 방향으로 조금씩 바꾼다매번 임의의 값으로 바꾼다한 번에 정답 값으로 바꾼다

손실이 줄어드는 방향으로 조금씩 바꾼다