logo

합성곱 신경망

이미지와 Dense 레이어의 한계

이미지는 높이, 너비, 채널을 가진 (H,W,C) 형태. 다층 신경망으로 이미지를 분류하려면 Flatten으로 이미지를 길이 H×W×C인 벡터로 펼친 뒤 Dense 레이어에 입력. 이 방식에는 세 가지 한계가 있음.

파라미터가 너무 많음

Dense 레이어는 모든 입력을 각 뉴런에 연결하므로 출력 뉴런이 U개이면 (H×W×C)×U+U개의 파라미터가 필요.

입력 레이어 파라미터 수
28×28 흑백 이미지 Dense(128) 100,480
224×224 컬러 이미지 Dense(1000) 150,529,000
크기와 무관한 흑백 이미지 3×3 합성곱 필터 32개 320
크기와 무관한 컬러 이미지 3×3 합성곱 필터 32개 896
  • Dense의 파라미터 수는 이미지가 커질수록 함께 증가
  • 파라미터가 많으면 계산량과 메모리가 늘고, 적은 데이터에서는 과대적합 위험이 커짐

이웃한 픽셀의 관계를 사용하지 않음

Flatten은 픽셀값을 삭제하지 않지만 높이·너비 축을 하나의 축으로 펼침. Dense 레이어는 펼친 벡터에서 어떤 픽셀끼리 이웃했는지 구분하지 않음.

숫자 이미지 원본과 모든 이미지에 같은 규칙으로 픽셀 위치를 섞은 이미지

  • 모든 이미지의 픽셀을 같은 규칙으로 섞으면 사람은 숫자를 알아볼 수 없음
  • Dense 레이어는 가중치의 순서만 바뀐 같은 모델을 학습할 수 있으므로 섞기 전과 성능이 같음
  • Dense 레이어가 이미지의 공간 구조를 활용하지 못한다는 뜻

위치가 바뀌면 다시 학습해야 함

같은 모서리 패턴이 이미지의 왼쪽 위와 오른쪽 아래에 나타난 두 이미지

  • 이미지에서는 같은 패턴이 여러 위치에 나타남
  • Dense 레이어는 위치마다 다른 가중치를 사용하므로 왼쪽 위에서 배운 패턴을 오른쪽 아래에 그대로 적용하지 못함
  • 패턴이 나타날 수 있는 위치마다 학습 데이터가 필요

Dense 레이어의 전체 연결과 합성곱 레이어의 지역 연결 비교

이미지의 성질과 CNN의 설계

합성곱 신경망(convolutional neural network, CNN)은 이미지의 성질을 구조에 반영해 Dense 레이어의 한계를 줄인 신경망.

이미지의 성질 CNN의 설계
가까운 픽셀끼리 관련이 큼 작은 필터의 지역 연결
같은 패턴이 여러 위치에 나타남 모든 위치에서 같은 필터를 사용하는 가중치 공유
작은 패턴이 모여 큰 패턴이 됨 합성곱 레이어를 여러 층으로 쌓기
조금 이동하거나 작아져도 같은 물체 풀링

이미지 처리의 블러나 엣지 검출 필터는 사람이 값을 정함. CNN은 필터의 값을 데이터에서 학습.

합성곱 레이어

  • 합성곱 신경망은 작은 지역 패치에 필터를 반복 적용해 특징을 추출
  • 필터(filter) 또는 커널(kernel)은 데이터에서 학습하는 가중치
  • 같은 필터를 이미지의 여러 위치에서 공유하므로 지역 패턴을 효율적으로 탐색
  • 필터 하나는 하나의 피처 맵을 생성하며, 필터 수는 출력 채널 수와 같음
  • 수용 영역(receptive field): 특정 뉴런의 값에 영향을 주는 원본 입력 영역
  • 피처 맵(feature map): 필터가 각 위치에서 계산한 합성곱 출력

필터가 입력의 지역 패치에 적용되어 피처 맵을 만드는 과정

합성곱 계산 예시

필터를 입력의 3×3 패치에 겹쳐 같은 위치의 값끼리 곱한 뒤 모두 더함. 필터를 한 칸씩 옮기며 반복하면 피처 맵 완성.

왼쪽은 0, 오른쪽은 1인 5×5 입력에 세로 경계 필터를 적용해 3×3 피처 맵을 만드는 계산

  • 빨간 패치의 계산: 각 행에서 0×(−1)+0×0+1×1=1, 세 행의 합은 3
  • 필터의 왼쪽 열은 −1, 오른쪽 열은 1이므로 왼쪽보다 오른쪽이 밝은 세로 경계에서 큰 값 출력
  • 값이 일정한 영역에서는 0 출력
  • 같은 필터가 모든 위치에 적용되므로 경계가 이미지 어디에 있어도 같은 방식으로 반응

채널과 파라미터 수

  • 입력 채널이 Cin​개이면 필터 하나의 크기는 k×k×Cin​
    • 채널마다 곱해 더한 값을 다시 모두 더해 피처 맵 하나 생성
  • 필터가 Cout​개이면 출력 채널도 Cout​개
  • 합성곱 레이어의 파라미터 수: (k×k×Cin​+1)×Cout​
    • 예: 흑백 입력에 3×3 필터 32개 → (3×3×1+1)×32=320
    • 이미지의 높이와 너비는 파라미터 수에 영향을 주지 않음

부분 특징에서 전체 특징으로

  • 얕은 레이어는 선, 방향, 모서리 같은 낮은 수준의 특징을 추출
  • 다음 레이어는 앞에서 찾은 특징을 조합해 눈, 코, 입처럼 더 큰 패턴을 표현
  • 깊은 레이어는 부분 특징을 다시 조합해 얼굴이나 사물 전체에 가까운 특징을 표현
  • 실제로 학습되는 특징은 데이터와 학습 목표에 따라 달라짐

선과 모서리에서 사물의 부분과 전체로 이어지는 CNN 특징 계층

층을 쌓을수록 수용 영역이 넓어지기 때문에 가능한 변화.

  • 3×3 합성곱 한 층: 원본의 3×3 영역을 봄
  • 3×3 합성곱 두 층: 두 번째 층의 값 하나는 첫 층의 3×3 값에 의존하고, 그 값들은 원본의 5×5 영역에 의존
  • 3×3 합성곱 세 층: 원본의 7×7 영역
  • 풀링으로 공간 크기를 줄이면 이후 레이어의 수용 영역이 더 빠르게 넓어짐

풀링 pooling

  • 풀링은 피처 맵의 지역 값을 요약해 공간 크기를 줄이는 다운샘플링
  • 학습하는 가중치가 없으며 합성곱 레이어 수를 자동으로 줄이지 않음
  • 공간 크기가 줄어 이후 레이어의 연산량과 Dense 레이어의 파라미터 수를 줄일 수 있음
  • 세부 위치 정보가 손실되므로 위치가 중요한 작업에서는 성능에 영향을 줄 수 있음
  • 최대 풀링(max pooling)은 지역의 최댓값을 선택
  • 평균 풀링(average pooling)은 지역의 평균값을 계산

4×4 피처 맵에 2×2 풀링을 적용하면 겹치지 않는 2×2 지역마다 값 하나를 남겨 2×2 출력 생성.

입력 (4×4) 최대 풀링 (2×2) 평균 풀링 (2×2)
​1430​3612​2514​1023​​ [63​54​] [3.51.5​22.5​]

풀링을 반복 적용해 피처 맵의 공간 크기를 줄이는 과정

이미지를 작게 줄여도 같은 글자로 알아볼 수 있듯이, 풀링은 세부 위치를 일부 버리고 특징이 있는지를 남김. 그래서 특징의 위치가 조금 바뀌어도 출력이 크게 달라지지 않음.

원본 글자 A와 크기를 줄인 글자 A

CNN의 기본 구조

  • 특징 추출 부분: 합성곱, 활성화 함수, 필요에 따른 풀링
  • 분류 부분: Flatten 또는 전역 풀링으로 특징을 모은 뒤 Dense 레이어로 예측
  • Flatten은 한 가지 연결 방법이며 모든 CNN에 필수인 것은 아님

합성곱 기반 특징 추출 부분과 Dense 기반 분류 부분

퀴즈

문제 1 / 7맞음: 0힌트: 0틀림: 0채점중: 0남음: 7

모든 이미지의 픽셀 위치를 같은 규칙으로 섞은 뒤 Flatten과 Dense 레이어로 이루어진 모델을 학습하면 어떻게 되는가?

  • ○가중치의 순서만 바뀐 같은 모델을 학습할 수 있으므로 성능이 달라지지 않는다
  • ○이웃한 픽셀의 관계가 깨지므로 성능이 크게 떨어진다
  • ○입력 벡터의 길이가 달라져 모델을 학습할 수 없다
  • ○픽셀값의 평균이 바뀌어 손실이 발산한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
조기 종료와 모델 체크포인트