logo

뉴런과 퍼셉트론

생물학적 뉴런 neuron

  • 뉴런: 동물의 신경계를 구성하는 세포
    • 수상돌기: 다른 세포의 신호를 받음
    • 세포체: 받은 신호를 통합
    • 축삭: 다른 뉴런이나 근육으로 신호를 전달

수상돌기, 세포체, 축삭으로 이어지는 생물학적 뉴런의 구조

  • 입력의 영향이 역치를 넘으면 활동 전위(action potential) 발생
  • 활동 전위는 축삭을 따라 이동
  • 축삭 말단에서 다음 세포로 신호 전달

역치를 넘은 자극 뒤 활동 전위가 급격히 상승하고 회복되는 과정

인공 뉴런과 퍼셉트론 perceptron

  • 맥컬록-피츠 뉴런(McCulloch-Pitts neuron): 1943년 신경생리학자 워런 맥컬록(Warren McCulloch)과 논리학자 월터 피츠(Walter Pitts)가 제안한 최초의 인공 뉴런 모형
    • 0 또는 1의 입력을 더해 역치를 넘으면 1, 넘지 못하면 0을 출력
    • 뉴런을 조합하면 AND, OR 같은 논리 연산 표현 가능
    • 연결과 역치를 사람이 직접 정하며, 데이터에서 학습하지 못함
  • 인공 뉴런(artificial neuron): 여러 입력의 가중합에 활성화 함수를 적용해 출력 생성
  • 퍼셉트론: 활성화 함수로 계단 함수를 사용하는 인공 뉴런
    • 1958년 심리학자 프랭크 로젠블랫(Frank Rosenblatt)이 제안
    • 맥컬록-피츠 뉴런에 데이터로 가중치를 조정하는 학습 규칙을 더함
    • 가중합이 0 이상이면 1, 0보다 작으면 0을 출력
    • 이항 선형 분류기

입력과 가중치, 가중합, 계단 함수, 출력으로 이어지는 퍼셉트론

  • 입력 xi​: 뉴런이 처리할 특성
  • 가중치 wi​: 각 입력이 출력에 미치는 영향
  • 편향 b: 결정 기준을 이동하는 값
  • 가중합 z: 입력과 가중치의 곱을 모두 더하고 편향을 더한 값
  • 활성화 함수 f: 가중합을 출력 y^​로 변환하는 함수
  • 가중치와 편향은 데이터에서 학습하는 파라미터(parameter)

생물학적 뉴런과의 대응

생물학적 뉴런 인공 뉴런에서 대응하는 개념
수상돌기로 들어오는 신호 입력 xi​
시냅스가 신호에 미치는 영향 가중치 wi​
세포체의 신호 통합 가중합 z
활동 전위의 발생과 전달 활성화 함수와 출력

논리 게이트

  • 두 입력 x1​,x2​가 0 또는 1일 때 논리 게이트의 출력
    • AND: 두 입력이 모두 1일 때만 1
    • OR: 두 입력 중 하나 이상이 1이면 1
x1​ x2​ AND OR
0 0 0 0
0 1 0 1
1 0 0 1
1 1 1 1
  • 결정 경계(decision boundary): 두 입력 퍼셉트론에서 w1​x1​+w2​x2​+b=0인 직선
    • 직선의 한쪽은 1, 다른 쪽은 0으로 분류
    • 입력이 더 많으면 결정 경계는 초평면

AND와 OR에서 직선 하나가 출력 1과 0을 나누는 모습

  • AND: w1​=w2​=1, b=−1.5
    • (1,1)에서만 z=0.5≥0
  • OR: w1​=w2​=1, b=−0.5
    • 하나 이상의 입력이 1이면 z≥0
    • AND와 가중치는 같고 편향만 달라 결정 경계가 평행 이동

선형 분리

  • 선형 분리 가능(linearly separable): AND와 OR처럼 직선 하나로 출력 1과 0을 나눌 수 있는 경우
    • 단층 퍼셉트론은 선형 분리 가능한 문제만 표현 가능
  • 데이터가 복잡하면 직선 하나로 나눌 수 없어 여러 선이 필요

선 하나로 분리되는 데이터 예시

복잡한 데이터에서 여러 선이 필요한 예시

선형과 비선형 분리 비교

퀴즈

문제 1 / 4맞음: 0힌트: 0틀림: 0채점중: 0남음: 4

인공 뉴런이 입력에서 출력을 만드는 순서로 가장 알맞은 것은?

  • ○입력에 가중치를 곱해 더한 뒤 활성화 함수를 적용한다
  • ○입력마다 활성화 함수를 먼저 적용한 뒤 모두 더한다
  • ○편향만 활성화 함수에 넣고 입력은 그대로 출력한다
  • ○입력의 평균을 그대로 출력한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
컴퓨터 비전과 머신러닝