쓰라린 교훈
Richard Sutton의 에세이로 살펴보는 계산 규모, 탐색, 학습의 의미
쓰라린 교훈(The Bitter Lesson)
2019년 리처드 서튼(Richard Sutton)이 발표한 에세이 (원문)
- 인공지능 연구의 역사를 돌아보며, 인간의 전문 지식을 직접 넣는 접근과 계산을 활용하는 범용 방법을 비교
- 이후 스케일링 법칙과 대규모 언어 모델의 발전을 설명할 때 자주 인용
핵심 주장
70년 인공지능 연구의 가장 큰 교훈: 장기적으로 큰 성과를 낸 것은 늘어나는 계산 자원을 활용할 수 있는 범용 방법.
- 배경: 무어의 법칙, 더 넓게는 계산 단위당 비용이 지수적으로 하락하면서 사용 가능한 계산량 증가
- 단기적 접근: 사람이 아는 규칙과 특징을 넣어 당장의 성능 개선
- 장기적 문제: 수작업 설계가 복잡해지면 추가 계산을 활용하기 어려워지고 성능 정체
- 대안: 계산량 증가를 성능 개선으로 연결하는 탐색과 학습
무어의 법칙과 계산 비용

그림 출처: Max Roser, Hannah Ritchie / Our World in Data (CC BY 4.0)
- 무어의 법칙(Moore's law): 집적 회로에 들어가는 트랜지스터 수가 일정한 주기로 두 배씩 늘어난다는 관찰
- 1965년 인텔 공동 창업자 고든 무어(Gordon Moore)가 매년 두 배로 는다고 처음 제시하고, 1975년 약 2년마다 두 배로 수정
- 반도체 산업이 수십 년간 이어 온 경험적 추세
- 결과: 1971년 인텔 4004의 트랜지스터 약 2,300개에서 2019년 무렵 수백억 개 수준으로, 50년 동안 천만 배 이상 증가
- 같은 비용으로 쓸 수 있는 계산량이 지수적으로 늘어났다는 뜻
- 최근에는 트랜지스터 미세화 속도가 둔화 → GPU·전용 가속기와 대규모 병렬 처리로 AI에 쓰이는 계산량은 계속 빠르게 증가
역사적 사례.
| 분야 | 사람이 설계한 지식 중심 접근 | 계산 자원을 활용하는 범용 방법 |
|---|---|---|
| 체스 | 인간의 체스 지식을 반영한 전략 | 대규모·깊은 탐색 |
| 바둑 | 바둑 지식으로 탐색을 줄이려는 시도 | 대규모 탐색과 자기 대국을 통한 가치 함수 학습 |
| 음성 인식 | 단어·음소·발성 기관 등의 지식을 반영한 설계 | 통계적 방법, 이후 대규모 데이터로 학습하는 딥러닝으로 발전 |
| 컴퓨터 비전 | 에지·일반화 원통·SIFT 같은 수작업 특징 중심 설계 | 합성곱과 일부 불변성 개념만 넣고, 나머지 특징은 신경망이 데이터에서 학습 |
왜 ‘쓰라린’ 교훈인가?
서튼이 역사에서 관찰한 패턴:
- 연구자들은 사람의 지식을 AI에 직접 넣으려 함
- 이 방식은 단기적으로 늘 도움이 되고, 연구자에게도 만족스러움
- 장기적으로는 성능이 정체되고, 오히려 이후의 발전을 가로막음
- 결국 돌파구는 탐색과 학습으로 계산 규모를 키우는 반대 접근에서 나옴
- 쓰라린 이유: 이 성공은 연구자들이 선호하던 인간 중심 접근에 대한 승리이기 때문
- 그래서 성공을 거두어도 그 의미가 제대로 받아들여지지 않는 경우가 많음
- 서튼의 결론: 우리가 생각한다고 생각하는 방식을 AI에 넣는 것은 장기적으로 통하지 않음
첫 번째 교훈: 범용 방법의 힘
- 범용 방법: 사용 가능한 계산이 아주 커져도 계산이 늘어나는 만큼 계속 성능이 향상되는 방법
- 이렇게 계산 규모에 따라 끝없이 확장되는 것으로 보이는 두 방법이 탐색과 학습
- 탐색(search): 가능한 행동과 결과를 조사해 좋은 선택을 발견
- 학습(learning): 데이터와 경험에서 유용한 패턴과 판단 기준을 획득
- 공통점: 사람이 답을 일일이 지정하지 않고, 계산을 통해 해법을 발견하는 절차
두 번째 교훈: 마음의 실제 내용은 복잡하다
- 마음이 다루는 실제 내용은 끝없이, 본질적으로 복잡함
- 공간, 대상, 여러 행위자 사이의 관계, 대칭성 등이 그 예
- 이들은 모두 임의로 복잡한 바깥 세계의 일부이며, 단순한 사고 틀로 정리되지 않음
- 지식 직접 구현의 한계: 사람이 이해한 구조를 미리 고정하면 그 틀에 담기지 않는 복잡성을 다루기 어려움
- 규칙을 계속 추가하는 방식으로는 끝없이 다양한 상황을 충분히 포괄하기 어려움
- 설계의 초점: 세계의 내용을 일일이 넣는 대신, 그 복잡성을 스스로 발견하고 포착하는 메타 방법만 구현
- 좋은 근사를 찾는 것이 핵심이지만, 그 근사를 찾는 일은 사람이 아니라 방법이 해야 함
- 우리의 발견을 직접 넣을수록, 발견하는 과정 자체를 어떻게 만들지 보기 어려워짐
- 사람이 발견한 지식을 담은 AI를 넘어, 사람처럼 스스로 발견할 수 있는 AI를 만드는 것이 중요
퀴즈
쓰라린 교훈에서 강조하는 AI 개발 방향은?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.