AI 비즈니스의 쓰라린 교훈
범용 모델이 발전해도 특수 목적 AI 비즈니스에 남는 자산과 사용할수록 개선되는 학습 선순환
쓰라린 교훈과 AI 비즈니스
- 서튼의 쓰라린 교훈: 사람의 지식을 직접 넣은 방법은 단기적으로 성과를 내지만, 결국 계산을 활용하는 범용 방법에 추월당함
- 서튼은 AI 연구에 대해 이야기했지만, 같은 교훈이 AI 비즈니스에도 적용
- 전제: AI 비즈니스가 보통 만드는 것은 특수 목적 AI
- 범용 AI: 다양한 작업을 처리하는 범용 모델과 이를 그대로 제공하는 범용 제품 (예: 챗봇 서비스)
- 특수 목적 AI: 범용 모델 위에 특정 업무에 맞춘 소프트웨어·데이터·업무 절차를 결합한 제품 (예: 계약 검토, 고객 상담, 의료 기록 요약)
- 특수 목적 AI는 범용 모델이 아직 잘하지 못하는 부분을 메우는 데서 가치를 만드는 경우가 많음
| 서튼이 본 AI 연구 | AI 비즈니스 |
|---|---|
| 사람의 지식을 직접 넣은 방법 | 모델의 한계를 메우려고 특수 목적 AI에 넣은 보완 소프트웨어 |
| 계산을 활용하는 범용 방법 | 계속 발전하는 범용 모델 |
| 단기 성과 뒤 정체, 범용 방법에 추월당함 | 다음 모델이 보완하던 일을 직접 처리하면 보완 기능의 가치 감소 |
모델이 좋아질수록 사라지는 가치
- 특수 목적 AI 제품의 출발점: 모델만으로 해결하기 어려운 일을 추가 소프트웨어로 보완
| 모델이 못하는 것 | 소프트웨어로 보완 |
|---|---|
| 긴 문서를 한 번에 읽기 | 여러 조각으로 나누어 입력하고 결과를 결합 |
| 복잡한 작업을 스스로 계획하기 | 개발자가 실행 순서와 도구 사용을 지정 |
| 특정 단계에서 반복되는 오류 해결 | 검증 규칙과 재시도 절차 추가 |
소프트웨어가 모델의 한계를 보완
보완 소프트웨어
모델이 못하는 부분을 대신 처리
특정 업무에 맞춘 설계로 성능과 신뢰성 개선
범용 모델
일부 작업에서 능력의 한계
고객은 모델만으로 얻기 어려운 성능과 편의에 비용 지불
모델 발전
보완하던 일을 모델이 직접 처리
보완 소프트웨어
상당 부분의 필요성 감소
발전한 범용 모델
더 넓은 범위의 작업을 직접 처리
추가 소프트웨어 없이도 충분한 경우 증가
범용 AI 제품과 경쟁 제품도 같은 모델로 개선되어 성능 격차 축소 가능
- 제품 성능과 경쟁우위의 차이
- 제품 성능: 고객의 업무를 얼마나 잘 처리하는가?
- 경쟁우위: 다른 선택지가 있어도 고객이 우리 제품을 선택할 이유가 있는가?
- 모델이 좋아지면 우리 제품도 좋아지지만, 고객이 직접 쓰는 범용 AI와 경쟁 제품도 같은 모델로 함께 좋아짐
- 따라서 제품 성능이 좋아져도 고객이 우리 서비스를 별도로 구매할 이유는 감소 가능
- 쓰라린 교훈: 현재 모델로 고객 문제를 해결해도, 다음 모델 이후의 사업 가치는 보장되지 않음
모델 발전 뒤에도 남는 자산
- 경쟁우위의 기준: 고객이 같은 모델을 직접 사용하거나 경쟁 제품을 선택해도 우리 서비스가 필요한 이유
- 경쟁자가 같은 모델을 써도 같은 자료·권한·업무 기반까지 갖는 것은 아님
- 모델이 발전해도 별도로 확보해야 하는 자산과 역량
- 접근 권한: 고객의 비공개 자료를 사용하고 업무 시스템에서 실제로 실행할 권한
- 업무 기반: 여러 팀·시스템·외부 당사자를 연결하는 운영 체계와 협력 관계
- 고객 맥락: 조직별 판단 기준, 승인 절차, 예외 처리에 관한 구체적인 정보
- 평가 역량: 실제 업무에서 결과의 품질을 판별하는 기준과 검증 방법
- 모델 발전과의 보완 관계: 더 좋은 모델이 위 자산을 활용해 더 복잡한 업무를 처리
- 모델의 성능 향상이 서비스의 가치 증가로 연결되는 구조
| 영역 | 모델의 한계에 의존하는 기능 | 모델 발전과 결합할 자산·역량 |
|---|---|---|
| 자료 | 입력 길이 제한을 우회하는 문서 분할 | 고객 자료에 대한 사용 권리와 접근 권한 |
| 실행 | 모델의 계획 능력을 대신하는 고정 실행 순서 | 여러 시스템에서 업무를 실행하고 승인받는 운영 체계 |
| 판단 | 모든 고객에게 같은 일반적 판단 규칙 | 조직별 판단 기준·승인 절차·예외 처리에 관한 고객 맥락 |
| 품질 | 특정 오류를 막기 위한 개별 규칙 | 실제 업무의 품질을 판별하는 평가 기준과 검증 역량 |
- 예시: 계약 검토 서비스
- 모델만 사용하는 경우: 주어진 계약서를 읽고 검토 의견 생성
- 업무 기반을 갖춘 경우: 내부 거래 자료와 판단 기준을 반영하고, 담당자 협의와 승인까지 연결
- 모델이 발전하면: 더 복잡한 조항과 협상 조건을 다루면서 기존 업무 기반의 활용 범위 확대 가능
사용할수록 개선되는 학습 선순환
- 실제 서비스 사용에서 얻은 정보를 다음 업무의 개선으로 연결
- 학습 선순환(flywheel): 사용 → 피드백 축적 → 서비스 개선 → 고객 가치 증가 → 반복 사용으로 이어지는 순환
- 사용량이 늘수록 개선할 기회 증가
- 개선 효과가 재사용과 추가 도입으로 이어질 때 순환이 강화
- 선순환의 조건: 반복되는 업무, 평가 가능한 결과, 신뢰할 수 있는 피드백, 개선을 반영할 절차
- 데이터가 쌓여도 품질이 나아지지 않으면 선순환이 성립하지 않음
- 예시: 계약 검토 서비스의 학습 과정
- 수행: AI가 조항별 위험과 수정안 제안
- 피드백: 검토자가 수정한 내용뿐 아니라 수정 이유와 최종 처리 결과 기록
- 개선: 반복되는 오류를 평가 과제로 만들고 모델·도구·문맥·실행 절차 조정
- 검증: 같은 평가 과제와 실제 업무에서 오류율·수정 시간·완료율 비교
- 반복 사용: 결과가 좋아져 고객이 더 많은 계약을 맡기면 새로운 개선 근거 축적
- 단순 저장과의 차이: 최종 계약서만 보관하면 검토 과정에서 버린 대안과 수정 이유가 누락
- 모델이 바뀌어도 남는 자산: 평가 과제, 피드백, 수정 이유는 새 모델에서도 그대로 재사용
- 새 모델이 나오면 같은 평가 과제로 바로 비교해 도입 여부 판단
- 반면 특정 모델에 맞춰 다듬은 프롬프트나 미세 조정은 다음 모델이 나오면 가치가 줄 수 있음
- 원문과의 연결: 사람이 규칙을 계속 추가하는 대신 사용 경험에서 개선 근거를 얻는 방식으로, 서튼이 강조한 학습과 같은 방향
모델 발전 속도에 따라 달라지는 전략
- 먼저 판단할 것: 목표 업무를 필요한 정확도와 비용으로 처리하는 모델이 언제 등장할 것인가?
- 비교할 시간: 모델이 해당 수준에 도달하기까지의 시간과 보완 기능을 개발·도입하고 투자 비용을 회수하는 데 걸리는 시간
- 예측 근거: 최근 몇 세대 모델의 해당 업무 성능 추이, 같은 성능을 내는 데 드는 비용의 하락 속도
- 검증 방법: 새 모델이 나오면 실제 업무의 평가 과제로 검증하고, 오류율·추론 비용·처리 시간을 함께 확인
- 모델 발전이 느릴 것으로 보는 경우: 현재 모델의 한계를 보완하는 기능에 투자
- 고객이 다음 모델을 기다리기 어려우면 당장의 업무를 해결하는 것만으로도 사업 기회
- 보완 기능이 필요한 기간에 매출을 확보하고 개발·운영 비용을 회수할 수 있는지 검토
- 실제 사용을 통해 고객 관계와 학습 근거를 축적할 시간도 확보
- 모델 발전이 빠를 것으로 보는 경우: 복잡한 보완 기능을 만드는 대신 다음 모델을 기다리는 전략 검토
- 보완 기능을 완성하기 전에 새 모델이 같은 문제를 해결하면 개발 투자의 가치 감소
- 대기하는 동안 고객 요구, 평가 과제, 자료 사용 권한, 시스템 연동 등 다음 모델에서도 필요한 기반 준비
- 새 모델이 필요한 성능과 비용을 충족하면 이를 활용해 제품 구현
- 시점이 불확실한 경우: 작은 범위로 검증하고 단계적으로 투자
- 최소한의 보완 기능으로 고객 수요와 지불 의사 확인
- 모델을 교체하거나 불필요해진 처리 단계를 제거하기 쉬운 구조 유지
- 새 모델 출시마다 직접 처리 가능한 범위를 다시 평가하고 개발·대기·확장 여부 조정
퀴즈
새 모델이 기존 서비스의 보완 기능을 직접 제공하게 되면 어떤 일이 생길 수 있는가?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.