logo

쓰라린 교훈

Richard Sutton의 에세이로 살펴보는 계산 규모, 탐색, 학습의 의미

쓰라린 교훈(The Bitter Lesson)

2019년 리처드 서튼(Richard Sutton)이 발표한 에세이 (원문)

  • 인공지능 연구의 역사를 돌아보며, 인간의 전문 지식을 직접 넣는 접근과 계산을 활용하는 범용 방법을 비교
  • 이후 스케일링 법칙과 대규모 언어 모델의 발전을 설명할 때 자주 인용

핵심 주장

70년 인공지능 연구의 가장 큰 교훈: 장기적으로 큰 성과를 낸 것은 늘어나는 계산 자원을 활용할 수 있는 범용 방법.

  • 배경: 무어의 법칙, 더 넓게는 계산 단위당 비용이 지수적으로 하락하면서 사용 가능한 계산량 증가
  • 단기적 접근: 사람이 아는 규칙과 특징을 넣어 당장의 성능 개선
  • 장기적 문제: 수작업 설계가 복잡해지면 추가 계산을 활용하기 어려워지고 성능 정체
  • 대안: 계산량 증가를 성능 개선으로 연결하는 탐색과 학습

무어의 법칙과 계산 비용

1970-2020년 마이크로칩의 트랜지스터 수 변화(로그 눈금). 약 2년마다 두 배로 증가하는 추세

그림 출처: Max Roser, Hannah Ritchie / Our World in Data (CC BY 4.0)

  • 무어의 법칙(Moore's law): 집적 회로에 들어가는 트랜지스터 수가 일정한 주기로 두 배씩 늘어난다는 관찰
    • 1965년 인텔 공동 창업자 고든 무어(Gordon Moore)가 매년 두 배로 는다고 처음 제시하고, 1975년 약 2년마다 두 배로 수정
    • 반도체 산업이 수십 년간 이어 온 경험적 추세
  • 결과: 1971년 인텔 4004의 트랜지스터 약 2,300개에서 2019년 무렵 수백억 개 수준으로, 50년 동안 천만 배 이상 증가
    • 같은 비용으로 쓸 수 있는 계산량이 지수적으로 늘어났다는 뜻
  • 최근에는 트랜지스터 미세화 속도가 둔화 → GPU·전용 가속기와 대규모 병렬 처리로 AI에 쓰이는 계산량은 계속 빠르게 증가

역사적 사례.

분야 사람이 설계한 지식 중심 접근 계산 자원을 활용하는 범용 방법
체스 인간의 체스 지식을 반영한 전략 대규모·깊은 탐색
바둑 바둑 지식으로 탐색을 줄이려는 시도 대규모 탐색과 자기 대국을 통한 가치 함수 학습
음성 인식 단어·음소·발성 기관 등의 지식을 반영한 설계 통계적 방법, 이후 대규모 데이터로 학습하는 딥러닝으로 발전
컴퓨터 비전 에지·일반화 원통·SIFT 같은 수작업 특징 중심 설계 합성곱과 일부 불변성 개념만 넣고, 나머지 특징은 신경망이 데이터에서 학습

왜 ‘쓰라린’ 교훈인가?

서튼이 역사에서 관찰한 패턴:

  1. 연구자들은 사람의 지식을 AI에 직접 넣으려 함
  2. 이 방식은 단기적으로 늘 도움이 되고, 연구자에게도 만족스러움
  3. 장기적으로는 성능이 정체되고, 오히려 이후의 발전을 가로막음
  4. 결국 돌파구는 탐색과 학습으로 계산 규모를 키우는 반대 접근에서 나옴
  • 쓰라린 이유: 이 성공은 연구자들이 선호하던 인간 중심 접근에 대한 승리이기 때문
    • 그래서 성공을 거두어도 그 의미가 제대로 받아들여지지 않는 경우가 많음
  • 서튼의 결론: 우리가 생각한다고 생각하는 방식을 AI에 넣는 것은 장기적으로 통하지 않음

첫 번째 교훈: 범용 방법의 힘

  • 범용 방법: 사용 가능한 계산이 아주 커져도 계산이 늘어나는 만큼 계속 성능이 향상되는 방법
  • 이렇게 계산 규모에 따라 끝없이 확장되는 것으로 보이는 두 방법이 탐색과 학습
    • 탐색(search): 가능한 행동과 결과를 조사해 좋은 선택을 발견
    • 학습(learning): 데이터와 경험에서 유용한 패턴과 판단 기준을 획득
  • 공통점: 사람이 답을 일일이 지정하지 않고, 계산을 통해 해법을 발견하는 절차

두 번째 교훈: 마음의 실제 내용은 복잡하다

  • 마음이 다루는 실제 내용은 끝없이, 본질적으로 복잡함
    • 공간, 대상, 여러 행위자 사이의 관계, 대칭성 등이 그 예
    • 이들은 모두 임의로 복잡한 바깥 세계의 일부이며, 단순한 사고 틀로 정리되지 않음
  • 지식 직접 구현의 한계: 사람이 이해한 구조를 미리 고정하면 그 틀에 담기지 않는 복잡성을 다루기 어려움
    • 규칙을 계속 추가하는 방식으로는 끝없이 다양한 상황을 충분히 포괄하기 어려움
  • 설계의 초점: 세계의 내용을 일일이 넣는 대신, 그 복잡성을 스스로 발견하고 포착하는 메타 방법만 구현
    • 좋은 근사를 찾는 것이 핵심이지만, 그 근사를 찾는 일은 사람이 아니라 방법이 해야 함
  • 우리의 발견을 직접 넣을수록, 발견하는 과정 자체를 어떻게 만들지 보기 어려워짐
  • 사람이 발견한 지식을 담은 AI를 넘어, 사람처럼 스스로 발견할 수 있는 AI를 만드는 것이 중요

퀴즈

문제 1 / 4맞음: 0힌트: 0틀림: 0채점중: 0남음: 4

쓰라린 교훈에서 강조하는 AI 개발 방향은?

  • ○늘어나는 계산 자원을 활용하는 탐색과 학습에 집중한다
  • ○전문가의 판단 순서를 더 자세한 규칙으로 고정한다
  • ○AI가 선택할 수 있는 방법을 사람이 아는 해법으로 제한한다
  • ○새로운 경험보다 처음에 입력한 지식을 우선한다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.

Previous
소형 언어 모델