판단 모델
텍스트 대신 질문 유형에 맞춰 정해진 형식의 답을 돌려주는 판단 모델의 개념과 질문 유형을 알고, OpenRouter의 Decisions API로 Jev를 호출해 본 뒤 다른 판단 모델과 최근 동향을 살펴본다.
- 생성 모델(LLM)은 텍스트를 만듦. "이 문의는 어느 팀 담당인가?"처럼 답이 정해진 질문에도 문장을 생성하고, 코드가 그 문장에서 답을 뽑아내야 함.
- 판단 모델(decision model): 텍스트를 생성하지 않고, 미리 정한 형식의 질문에 정해진 형식의 답(예일 확률, 고른 선택지와 선택지별 확률, 척도 위치 등)을 돌려주는 모델.
| 비교 항목 | 생성 모델(LLM) | 판단 모델 |
|---|---|---|
| 출력 | 자유로운 텍스트·도구 호출 | 예일 확률, 선택지와 확률, 척도 위치 등 정해진 형식의 값 |
| 쓰임 | 답변 작성, 계획, 요약 | 분류, 라우팅, 검증, 순위 매기기 |
| 속도·비용 | 출력 토큰만큼 느리고 비쌈 | 짧은 지연, 낮은 비용 |
| 선택지 밖의 답·이유 | 가능 | 불가능 |
- 빠른 직관(시스템 1)에 빗대 "System One" 모델이라고도 부름. 함수처럼 부르고, 돌아온 값에 따른 분기는 코드가 담당.
- 판단의 근거를 글로 남겨야 하면 판단은 판단 모델, 설명은 생성 모델로 나눠 맡김.
Jev
- TypeSafe AI가 2026년 9월 15일 공개한 판단 모델. 회사의 첫 System One 모델. 9월 18일 OpenRouter에 등록, 10월 14일 1.14 버전에서 이미지 입력 추가.
- 입력: 판단 대상인 상태(state, 문자열이나 JSON) + 질문들. 출력: 질문마다 정해진 형식의 답과 확률.
| 질문 유형 | 묻는 것 | 돌려주는 것 |
|---|---|---|
| noul | 이 조건이 참인가? | 예일 확률(0-1) |
| choice | 이 중 어느 것인가? | 고른 선택지, 선택지별 확률, 확신도 |
| score | 순서 있는 척도의 어디쯤인가? | 확률로 가중한 위치, 단계별 확률, 확신도 |
| box | 이미지에서 이 대상은 어디인가?(1.14부터) | 상자의 상하좌우 위치(이미지 크기 대비 비율) |
- 가격: 입력 100만 토큰당 0.042달러, 출력 무료. 컨텍스트 262,144 토큰. 가중치는 비공개, API로만 사용.
실습: OpenRouter로 Jev 호출하기
- OpenRouter 키 하나로 호출. TypeSafe 계정은 필요 없음.
- 채팅 API(
chat.completions)가 아닌 Decisions API(POST /api/alpha/decisions)를 사용. 아직 알파 단계라 요청 형식이 바뀔 수 있음. - 요청 본문:
model,state(판단 대상),questions(이름 → 질문). 질문마다type,instructions(질문 문장),criteria(선택지와 설명, 또는 척도 단계 목록).
!pip install -q requests
from pathlib import Path
import requests
api_key = Path("openrouter-key.txt").read_text().strip() # 키 파일에서 읽기
model = "typesafe/jev-1.14"
def decide(state, questions, model=model):
response = requests.post(
"https://openrouter.ai/api/alpha/decisions",
headers={"Authorization": f"Bearer {api_key}"},
json={"model": model, "state": state, "questions": questions},
)
response.raise_for_status()
return response.json()
질문 세 개를 한 번에
- 고객 문의 하나에 noul(불량 알림인가), choice(담당 팀), score(긴급도)를 함께 물음.
- 한 요청의 질문들은 따로따로 동시에 답함. 한 질문의 답이 다른 질문의 답에 영향을 주지 않음.
state = {"문의": "어제 받은 키보드에서 일부 키가 눌리지 않아요. 환불받을 수 있나요?"}
questions = {
"is_complaint": {
"type": "noul",
"instructions": "고객이 상품 불량을 알리고 있다",
},
"team": {
"type": "choice",
"instructions": "이 문의를 맡을 팀",
"criteria": {
"배송": "배송 지연·분실",
"교환반품": "불량·교환·반품·환불",
"결제": "결제 오류·영수증",
},
},
"urgency": {
"type": "score",
"instructions": "처리가 얼마나 급한가",
"criteria": ["다음 주에 처리해도 됨", "이번 주 안에 처리", "오늘 처리"],
},
}
result = decide(state, questions)
a = result["answers"]
print("불량 알림:", a["is_complaint"]["noul"])
print("담당 팀:", a["team"]["choice"], a["team"]["probabilities"])
print("긴급도:", a["urgency"]["score"], a["urgency"]["probabilities"])
print("비용(달러):", result["usage"]["cost"])
실행 결과
불량 알림: 0.96
담당 팀: 교환반품 {'배송': 0, '교환반품': 1, '결제': 0}
긴급도: 1.23 {'0': 0.02, '1': 0.73, '2': 0.25}
비용(달러): 1.89e-05
- 위 실행에서 noul 0.96은 "불량을 알리고 있다"가 참일 확률. 0.5 근처라면 예·아니오가 비슷하게 그럴듯하다는 뜻이지 "중간 정도의 불량"이라는 뜻이 아님.
- score 1.23은 단계 번호(0, 1, 2)를 확률로 가중한 위치. "이번 주 안에 처리"(1)에 가깝고 "오늘 처리"(2) 쪽으로 조금 기움.
- 응답의
usage.cost로 호출 비용을 바로 확인. 입력 450토큰에 약 0.00002달러.
여러 입력 분류하기
- 리뷰 4개에 감정(choice)과 판매자 조치 필요 여부(noul)를 물음.
reviews = [
"배송 빠르고 포장도 꼼꼼했어요.",
"색상이 사진과 달라서 반품하고 싶어요.",
"가격 대비 괜찮은데 소음이 조금 있네요.",
"결제가 두 번 됐어요. 하나 취소해 주세요.",
]
question = {
"sentiment": {
"type": "choice",
"instructions": "리뷰의 전체 감정",
"criteria": {"긍정": "만족", "중립": "장단점이 섞임", "부정": "불만"},
},
"needs_reply": {
"type": "noul",
"instructions": "판매자가 직접 답하거나 조치해야 한다",
},
}
for review in reviews:
a = decide(review, question)["answers"]
s = a["sentiment"]
print(f'{s["choice"]} {s["probabilities"]} 조치={a["needs_reply"]["noul"]:.2f} {review}')
실행 결과
긍정 {'긍정': 1, '중립': 0, '부정': 0} 조치=0.12 배송 빠르고 포장도 꼼꼼했어요.
부정 {'긍정': 0, '중립': 0, '부정': 1} 조치=0.76 색상이 사진과 달라서 반품하고 싶어요.
중립 {'긍정': 0.01, '중립': 0.99, '부정': 0} 조치=0.36 가격 대비 괜찮은데 소음이 조금 있네요.
부정 {'긍정': 0, '중립': 0.01, '부정': 0.99} 조치=0.74 결제가 두 번 됐어요. 하나 취소해 주세요.
- 위 실행에서 반품·이중 결제 리뷰는 조치 확률 0.74 이상, 칭찬 리뷰는 0.12. 소음 언급 리뷰는 0.36으로 그 사이.
- 확률은 임계값으로 잘라 씀. 예: 0.7 이상은 자동으로 처리 대기열에, 0.3-0.7은 사람이 확인, 0.3 미만은 넘김. 임계값은 정답이 붙은 표본으로 실수의 비용을 따져 정함.
최근 동향
- 판단 모델이 빠르게 늘어남. OpenRouter 기준 Jev가 첫 판단 모델이었고, 2026년 11월 13일 현재 17개 회사의 판단 모델 30여 개(별칭 제외)가 같은 Decisions API로 제공됨.
| 회사 | 모델 | 특징 |
|---|---|---|
| OpenAI | gpt-6-luna-decisions |
텍스트·이미지 |
| Microsoft | microsoft-decision-1 |
텍스트 |
gemini-decision-1 |
텍스트·이미지·오디오·비디오·파일 | |
| Cloudflare | clef, clef-flash, clef-omni |
clef-omni는 오디오·비디오 입력 |
| Perplexity | pplx-decider, pplx-decider-flash |
무료 버전 제공 |
| Liquid AI | d1, d1-ultra |
텍스트·이미지 |
| Upstage | solar-decide, solar-decide-flash |
국내 회사, 텍스트 |
| Nace.AI | drex-max, drex-max-finance |
금융 특화 버전 |
- 판단 모델로 생성 모델 고르기: Jev Router(
typesafe/jev-router)는 요청마다 Jev가 과제와 난도를 판단해 답변할 모델과 추론 강도를 고름. 비용 등급(low, medium, high)을 지정할 수 있음. - 정해진 필드 뽑기: Extractions API(
POST /api/alpha/extractions)는 같은 형식에서 질문 대신 필드(송장 번호, 금액, 날짜 등)를 받아 값을 돌려줌.
퀴즈
판단 모델이 생성 모델과 가장 다른 점은?
퀴즈를 풀려면 대화형 기능을 불러와야 합니다.