순환신경망(RNN)
시퀀스 데이터
- 시퀀스 데이터(sequence data): 순서가 의미를 갖는 데이터
- 문장: 단어의 나열. "밥을 먹고 학교에 갔다"와 "학교에 가고 밥을 먹었다"는 같은 단어로 다른 순서의 일을 나타냄
- 음성, 센서값, 주가: 시간에 따라 측정한 값의 나열
- 다층 퍼셉트론(MLP)으로 처리할 때의 문제
- 입력 길이가 고정되어 있어 길이가 제각각인 문장을 그대로 넣을 수 없음
- 입력 순서를 고려하는 구조가 없음
- 순환신경망(Recurrent Neural Network, RNN): 시퀀스를 앞에서부터 하나씩 읽으며, 지금까지 읽은 내용을 기억해 다음 단계로 넘기는 신경망
- 사람이 문장을 읽을 때 앞 단어의 뜻을 기억하며 다음 단어를 읽는 것과 비슷
RNN의 계산
RNN은 매 시점마다 두 가지를 받아 새 기억을 만듭니다.
- 지금 들어온 입력 xt
- 바로 전까지의 기억 ht−1
- 은닉 상태(hidden state) ht: 시점 t까지 읽은 내용을 요약한 벡터. RNN의 "기억"
- 처음 시작할 때의 h0는 보통 0으로 채운 벡터
- Wxh: 현재 입력에 곱하는 가중치
- Whh: 이전 은닉 상태에 곱하는 가중치. 기억을 다음 시점으로 이어 주는 역할
- tanh: 값을 −1과 1 사이로 제한하는 활성화 함수
- 각 시점의 출력 yt는 은닉 상태 ht에 가중치 Why를 곱해 계산
예를 들어 "영화가 정말 재미있었다"를 읽으면 다음 순서로 계산합니다.
- "영화가"를 읽고 h1 계산
- "정말"과 h1로 h2 계산
- "재미있었다"와 h2로 h3 계산
- 문장 전체를 요약한 h3로 긍정·부정 판정
시간축으로 펼치기
- 펼치기(unrolling): 순환 고리를 시점별로 풀어 옆으로 이어 그린 표현
- 왼쪽과 오른쪽은 같은 계산을 다르게 그린 것
- 파라미터 공유(parameter sharing): 모든 시점에서 같은 가중치 Wxh, Whh, Why를 사용
- 문장이 길어져도 가중치 수는 그대로
- 길이가 다른 문장에도 같은 모형 적용 가능
입력과 출력의 구성
과업에 따라 출력을 어느 시점에서 내는지가 다릅니다.
- 다대일(many-to-one): 시퀀스를 끝까지 읽고 출력 하나
- 예: 문장 감성 분석(긍정/부정), 내일 기온 예측
- 다대다(many-to-many): 시점마다 출력
- 예: 문장의 각 단어에 품사 붙이기
- 일대다(one-to-many): 입력 하나로 시퀀스 생성
- 예: 이미지를 보고 설명 문장 만들기
- 번역처럼 입력과 출력의 길이가 다르면 RNN 두 개를 이어 붙인 시퀀스-투-시퀀스 구조 사용
기울기 소실과 폭발
- 펼친 RNN은 시퀀스 길이만큼 층이 깊은 신경망과 같음
- 학습할 때 오차의 기울기가 마지막 시점에서 첫 시점까지 거꾸로 전달됨
- 이 과정에서 시점마다 비슷한 값이 계속 곱해짐
- 같은 수를 여러 번 곱하면 결과가 급격히 작아지거나 커짐
- 0.5를 10번 곱하면 약 0.001
- 1.5를 10번 곱하면 약 58
- 기울기 소실(vanishing gradient): 기울기가 거꾸로 전달되며 0에 가까워지는 현상
- 먼 과거의 입력이 학습에 거의 반영되지 않음
- 결과: 멀리 떨어진 정보 사이의 관계, 즉 장기 의존성(long-term dependency)을 학습하기 어려움
- 예: "어린 시절을 프랑스에서 보내서 … 지금도 ___를 유창하게 한다"의 빈칸을 채우려면 문장 앞쪽의 "프랑스"를 기억해야 함
- 기울기 폭발(exploding gradient): 기울기가 거꾸로 전달되며 지나치게 커지는 현상
- 가중치가 한 번에 크게 바뀌어 학습이 불안정해짐
- 대응: 기울기 클리핑(gradient clipping). 기울기가 정해 둔 크기를 넘으면 그 크기로 잘라냄
- 클리핑은 너무 큰 기울기를 줄일 뿐 작아진 기울기를 키우지 못함 → 기울기 소실을 해결하려고 LSTM 등장
장단기 메모리(LSTM)
- 장단기 메모리(Long Short-Term Memory, LSTM): 기억을 오래 유지하도록 RNN을 개선한 구조
- 셀 상태(cell state) ct: 시점을 따라 이어지는 장기 기억 통로
- 은닉 상태와 별도로 존재
- 게이트(gate): 정보를 얼마나 통과시킬지 0과 1 사이 값으로 조절하는 장치
- 1이면 모두 통과, 0이면 차단
- 현재 입력과 이전 은닉 상태를 보고 값을 정함
LSTM의 게이트는 세 가지입니다.
- 망각 게이트(forget gate) ft: 기존 기억 중 무엇을 지울지 결정
- 입력 게이트(input gate) it: 새 정보 c~t 중 무엇을 기억에 더할지 결정
- 출력 게이트(output gate) ot: 기억 중 무엇을 이번 시점의 은닉 상태로 내보낼지 결정
셀 상태는 "남길 기존 기억 + 더할 새 정보"로 갱신됩니다.
ct=ft⊙ct−1+it⊙c~t- ⊙: 같은 위치의 원소끼리 곱하기
- 예: 망각 게이트가 1, 입력 게이트가 0이면 ct=ct−1. 기존 기억이 그대로 유지
LSTM이 장기 기억에 유리한 이유
- 기본 RNN은 매 시점 기억 전체를 새로 계산하므로 기울기가 시점마다 곱해지며 줄어듦
- LSTM의 셀 상태는 기존 기억에 새 정보를 더하는 방식으로 갱신
- 망각 게이트가 1에 가까우면 기억과 기울기가 거의 줄지 않고 먼 시점까지 전달
- 무엇을 오래 기억할지도 게이트가 데이터에서 학습
- 아주 긴 시퀀스에서는 LSTM도 먼 정보를 점차 잃음
더 알아보기: LSTM 게이트 수식
각 게이트와 새 정보는 현재 입력 xt와 이전 은닉 상태 ht−1로 계산합니다.
ftitotc~tht=σ(Wfxt+Ufht−1+bf)=σ(Wixt+Uiht−1+bi)=σ(Woxt+Uoht−1+bo)=tanh(Wcxt+Ucht−1+bc)=ot⊙tanh(ct)- σ: 시그모이드 함수. 출력이 0과 1 사이여서 게이트 값으로 사용
- W: 입력에 곱하는 가중치, U: 이전 은닉 상태에 곱하는 가중치
- 게이트 3개와 새 정보 1개를 각각 계산하므로 같은 크기의 기본 RNN보다 가중치가 약 4배
RNN의 한계
- 순차 계산: 앞 시점의 계산이 끝나야 다음 시점을 계산할 수 있음
- 여러 시점을 동시에 계산할 수 없어 긴 시퀀스의 학습이 느림
- 정보 압축: 시퀀스 전체를 크기가 정해진 은닉 상태 하나에 담아야 함
- 입력이 길수록 앞부분 정보가 손실되기 쉬움
- 이 한계를 줄이려고 주의 메커니즘이 등장했고, 이후 순환 구조 없이 주의 메커니즘만 쓰는 트랜스포머로 발전
퀴즈
RNN의 은닉 상태 갱신식 ht=tanh(Wxhxt+Whhht−1+b)에서 Whh의 역할은?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.