logo

순환신경망(RNN)

시퀀스 데이터

  • 시퀀스 데이터(sequence data): 순서가 의미를 갖는 데이터
    • 문장: 단어의 나열. "밥을 먹고 학교에 갔다"와 "학교에 가고 밥을 먹었다"는 같은 단어로 다른 순서의 일을 나타냄
    • 음성, 센서값, 주가: 시간에 따라 측정한 값의 나열
  • 다층 퍼셉트론(MLP)으로 처리할 때의 문제
    • 입력 길이가 고정되어 있어 길이가 제각각인 문장을 그대로 넣을 수 없음
    • 입력 순서를 고려하는 구조가 없음
  • 순환신경망(Recurrent Neural Network, RNN): 시퀀스를 앞에서부터 하나씩 읽으며, 지금까지 읽은 내용을 기억해 다음 단계로 넘기는 신경망
    • 사람이 문장을 읽을 때 앞 단어의 뜻을 기억하며 다음 단어를 읽는 것과 비슷

RNN의 계산

RNN은 매 시점마다 두 가지를 받아 새 기억을 만듭니다.

  • 지금 들어온 입력 xt​
  • 바로 전까지의 기억 ht−1​
ht​=tanh(Wxh​xt​+Whh​ht−1​+b)
  • 은닉 상태(hidden state) ht​: 시점 t까지 읽은 내용을 요약한 벡터. RNN의 "기억"
    • 처음 시작할 때의 h0​는 보통 0으로 채운 벡터
  • Wxh​: 현재 입력에 곱하는 가중치
  • Whh​: 이전 은닉 상태에 곱하는 가중치. 기억을 다음 시점으로 이어 주는 역할
  • tanh: 값을 −1과 1 사이로 제한하는 활성화 함수
  • 각 시점의 출력 yt​는 은닉 상태 ht​에 가중치 Why​를 곱해 계산

예를 들어 "영화가 정말 재미있었다"를 읽으면 다음 순서로 계산합니다.

  1. "영화가"를 읽고 h1​ 계산
  2. "정말"과 h1​로 h2​ 계산
  3. "재미있었다"와 h2​로 h3​ 계산
  4. 문장 전체를 요약한 h3​로 긍정·부정 판정

시간축으로 펼치기

왼쪽은 순환 고리가 있는 RNN 셀, 오른쪽은 같은 셀을 네 시점으로 펼쳐 h0에서 h4까지 은닉 상태를 전달하며 각 시점의 입력 x로 출력 y를 내는 모습

  • 펼치기(unrolling): 순환 고리를 시점별로 풀어 옆으로 이어 그린 표현
    • 왼쪽과 오른쪽은 같은 계산을 다르게 그린 것
  • 파라미터 공유(parameter sharing): 모든 시점에서 같은 가중치 Wxh​, Whh​, Why​를 사용
    • 문장이 길어져도 가중치 수는 그대로
    • 길이가 다른 문장에도 같은 모형 적용 가능

입력과 출력의 구성

과업에 따라 출력을 어느 시점에서 내는지가 다릅니다.

  • 다대일(many-to-one): 시퀀스를 끝까지 읽고 출력 하나
    • 예: 문장 감성 분석(긍정/부정), 내일 기온 예측
  • 다대다(many-to-many): 시점마다 출력
    • 예: 문장의 각 단어에 품사 붙이기
  • 일대다(one-to-many): 입력 하나로 시퀀스 생성
    • 예: 이미지를 보고 설명 문장 만들기
  • 번역처럼 입력과 출력의 길이가 다르면 RNN 두 개를 이어 붙인 시퀀스-투-시퀀스 구조 사용

기울기 소실과 폭발

  • 펼친 RNN은 시퀀스 길이만큼 층이 깊은 신경망과 같음
  • 학습할 때 오차의 기울기가 마지막 시점에서 첫 시점까지 거꾸로 전달됨
    • 이 과정에서 시점마다 비슷한 값이 계속 곱해짐
  • 같은 수를 여러 번 곱하면 결과가 급격히 작아지거나 커짐
    • 0.5를 10번 곱하면 약 0.001
    • 1.5를 10번 곱하면 약 58
  • 기울기 소실(vanishing gradient): 기울기가 거꾸로 전달되며 0에 가까워지는 현상
    • 먼 과거의 입력이 학습에 거의 반영되지 않음
    • 결과: 멀리 떨어진 정보 사이의 관계, 즉 장기 의존성(long-term dependency)을 학습하기 어려움
    • 예: "어린 시절을 프랑스에서 보내서 … 지금도 ___를 유창하게 한다"의 빈칸을 채우려면 문장 앞쪽의 "프랑스"를 기억해야 함
  • 기울기 폭발(exploding gradient): 기울기가 거꾸로 전달되며 지나치게 커지는 현상
    • 가중치가 한 번에 크게 바뀌어 학습이 불안정해짐
    • 대응: 기울기 클리핑(gradient clipping). 기울기가 정해 둔 크기를 넘으면 그 크기로 잘라냄
  • 클리핑은 너무 큰 기울기를 줄일 뿐 작아진 기울기를 키우지 못함 → 기울기 소실을 해결하려고 LSTM 등장

장단기 메모리(LSTM)

  • 장단기 메모리(Long Short-Term Memory, LSTM): 기억을 오래 유지하도록 RNN을 개선한 구조
  • 셀 상태(cell state) ct​: 시점을 따라 이어지는 장기 기억 통로
    • 은닉 상태와 별도로 존재
  • 게이트(gate): 정보를 얼마나 통과시킬지 0과 1 사이 값으로 조절하는 장치
    • 1이면 모두 통과, 0이면 차단
    • 현재 입력과 이전 은닉 상태를 보고 값을 정함

LSTM의 게이트는 세 가지입니다.

  • 망각 게이트(forget gate) ft​: 기존 기억 중 무엇을 지울지 결정
  • 입력 게이트(input gate) it​: 새 정보 c~t​ 중 무엇을 기억에 더할지 결정
  • 출력 게이트(output gate) ot​: 기억 중 무엇을 이번 시점의 은닉 상태로 내보낼지 결정

셀 상태는 "남길 기존 기억 + 더할 새 정보"로 갱신됩니다.

ct​=ft​⊙ct−1​+it​⊙c~t​
  • ⊙: 같은 위치의 원소끼리 곱하기
  • 예: 망각 게이트가 1, 입력 게이트가 0이면 ct​=ct−1​. 기존 기억이 그대로 유지

LSTM이 장기 기억에 유리한 이유

  • 기본 RNN은 매 시점 기억 전체를 새로 계산하므로 기울기가 시점마다 곱해지며 줄어듦
  • LSTM의 셀 상태는 기존 기억에 새 정보를 더하는 방식으로 갱신
    • 망각 게이트가 1에 가까우면 기억과 기울기가 거의 줄지 않고 먼 시점까지 전달
  • 무엇을 오래 기억할지도 게이트가 데이터에서 학습
  • 아주 긴 시퀀스에서는 LSTM도 먼 정보를 점차 잃음

더 알아보기: LSTM 게이트 수식

각 게이트와 새 정보는 현재 입력 xt​와 이전 은닉 상태 ht−1​로 계산합니다.

ft​it​ot​c~t​ht​​=σ(Wf​xt​+Uf​ht−1​+bf​)=σ(Wi​xt​+Ui​ht−1​+bi​)=σ(Wo​xt​+Uo​ht−1​+bo​)=tanh(Wc​xt​+Uc​ht−1​+bc​)=ot​⊙tanh(ct​)​
  • σ: 시그모이드 함수. 출력이 0과 1 사이여서 게이트 값으로 사용
  • W: 입력에 곱하는 가중치, U: 이전 은닉 상태에 곱하는 가중치
  • 게이트 3개와 새 정보 1개를 각각 계산하므로 같은 크기의 기본 RNN보다 가중치가 약 4배

RNN의 한계

  • 순차 계산: 앞 시점의 계산이 끝나야 다음 시점을 계산할 수 있음
    • 여러 시점을 동시에 계산할 수 없어 긴 시퀀스의 학습이 느림
  • 정보 압축: 시퀀스 전체를 크기가 정해진 은닉 상태 하나에 담아야 함
    • 입력이 길수록 앞부분 정보가 손실되기 쉬움
  • 이 한계를 줄이려고 주의 메커니즘이 등장했고, 이후 순환 구조 없이 주의 메커니즘만 쓰는 트랜스포머로 발전

퀴즈

문제 1 / 7맞음: 0힌트: 0틀림: 0채점중: 0남음: 7

RNN의 은닉 상태 갱신식 ht​=tanh(Wxh​xt​+Whh​ht−1​+b)에서 Whh​의 역할은?

  • ○이전 시점의 은닉 상태를 현재 은닉 상태 계산에 반영한다
  • ○현재 시점의 입력을 은닉 상태 계산에 반영한다
  • ○현재 은닉 상태를 출력으로 변환한다
  • ○은닉 상태 값을 -1과 1 사이로 제한한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
딥러닝 자연어 처리