logo

판단 모델

텍스트 대신 질문 유형에 맞춰 정해진 형식의 답을 돌려주는 판단 모델의 개념과 질문 유형을 알고, OpenRouter의 Decisions API로 Jev를 호출해 본 뒤 다른 판단 모델과 최근 동향을 살펴본다.

  • 생성 모델(LLM)은 텍스트를 만듦. "이 문의는 어느 팀 담당인가?"처럼 답이 정해진 질문에도 문장을 생성하고, 코드가 그 문장에서 답을 뽑아내야 함.
  • 판단 모델(decision model): 텍스트를 생성하지 않고, 미리 정한 형식의 질문에 정해진 형식의 답(예일 확률, 고른 선택지와 선택지별 확률, 척도 위치 등)을 돌려주는 모델.
비교 항목 생성 모델(LLM) 판단 모델
출력 자유로운 텍스트·도구 호출 예일 확률, 선택지와 확률, 척도 위치 등 정해진 형식의 값
쓰임 답변 작성, 계획, 요약 분류, 라우팅, 검증, 순위 매기기
속도·비용 출력 토큰만큼 느리고 비쌈 짧은 지연, 낮은 비용
선택지 밖의 답·이유 가능 불가능
  • 빠른 직관(시스템 1)에 빗대 "System One" 모델이라고도 부름. 함수처럼 부르고, 돌아온 값에 따른 분기는 코드가 담당.
  • 판단의 근거를 글로 남겨야 하면 판단은 판단 모델, 설명은 생성 모델로 나눠 맡김.

Jev

  • TypeSafe AI가 2026년 9월 15일 공개한 판단 모델. 회사의 첫 System One 모델. 9월 18일 OpenRouter에 등록, 10월 14일 1.14 버전에서 이미지 입력 추가.
  • 입력: 판단 대상인 상태(state, 문자열이나 JSON) + 질문들. 출력: 질문마다 정해진 형식의 답과 확률.
질문 유형 묻는 것 돌려주는 것
noul 이 조건이 참인가? 예일 확률(0-1)
choice 이 중 어느 것인가? 고른 선택지, 선택지별 확률, 확신도
score 순서 있는 척도의 어디쯤인가? 확률로 가중한 위치, 단계별 확률, 확신도
box 이미지에서 이 대상은 어디인가?(1.14부터) 상자의 상하좌우 위치(이미지 크기 대비 비율)
  • 가격: 입력 100만 토큰당 0.042달러, 출력 무료. 컨텍스트 262,144 토큰. 가중치는 비공개, API로만 사용.

실습: OpenRouter로 Jev 호출하기

  • OpenRouter 키 하나로 호출. TypeSafe 계정은 필요 없음.
  • 채팅 API(chat.completions)가 아닌 Decisions API(POST /api/alpha/decisions)를 사용. 아직 알파 단계라 요청 형식이 바뀔 수 있음.
  • 요청 본문: model, state(판단 대상), questions(이름 → 질문). 질문마다 type, instructions(질문 문장), criteria(선택지와 설명, 또는 척도 단계 목록).
!pip install -q requests
from pathlib import Path
import requests

api_key = Path("openrouter-key.txt").read_text().strip()  # 키 파일에서 읽기
model = "typesafe/jev-1.14"

def decide(state, questions, model=model):
    response = requests.post(
        "https://openrouter.ai/api/alpha/decisions",
        headers={"Authorization": f"Bearer {api_key}"},
        json={"model": model, "state": state, "questions": questions},
    )
    response.raise_for_status()
    return response.json()

질문 세 개를 한 번에

  • 고객 문의 하나에 noul(불량 알림인가), choice(담당 팀), score(긴급도)를 함께 물음.
  • 한 요청의 질문들은 따로따로 동시에 답함. 한 질문의 답이 다른 질문의 답에 영향을 주지 않음.
state = {"문의": "어제 받은 키보드에서 일부 키가 눌리지 않아요. 환불받을 수 있나요?"}
questions = {
    "is_complaint": {
        "type": "noul",
        "instructions": "고객이 상품 불량을 알리고 있다",
    },
    "team": {
        "type": "choice",
        "instructions": "이 문의를 맡을 팀",
        "criteria": {
            "배송": "배송 지연·분실",
            "교환반품": "불량·교환·반품·환불",
            "결제": "결제 오류·영수증",
        },
    },
    "urgency": {
        "type": "score",
        "instructions": "처리가 얼마나 급한가",
        "criteria": ["다음 주에 처리해도 됨", "이번 주 안에 처리", "오늘 처리"],
    },
}
result = decide(state, questions)
a = result["answers"]
print("불량 알림:", a["is_complaint"]["noul"])
print("담당 팀:", a["team"]["choice"], a["team"]["probabilities"])
print("긴급도:", a["urgency"]["score"], a["urgency"]["probabilities"])
print("비용(달러):", result["usage"]["cost"])
실행 결과
불량 알림: 0.96
담당 팀: 교환반품 {'배송': 0, '교환반품': 1, '결제': 0}
긴급도: 1.23 {'0': 0.02, '1': 0.73, '2': 0.25}
비용(달러): 1.89e-05
  • 위 실행에서 noul 0.96은 "불량을 알리고 있다"가 참일 확률. 0.5 근처라면 예·아니오가 비슷하게 그럴듯하다는 뜻이지 "중간 정도의 불량"이라는 뜻이 아님.
  • score 1.23은 단계 번호(0, 1, 2)를 확률로 가중한 위치. "이번 주 안에 처리"(1)에 가깝고 "오늘 처리"(2) 쪽으로 조금 기움.
  • 응답의 usage.cost로 호출 비용을 바로 확인. 입력 450토큰에 약 0.00002달러.

여러 입력 분류하기

  • 리뷰 4개에 감정(choice)과 판매자 조치 필요 여부(noul)를 물음.
reviews = [
    "배송 빠르고 포장도 꼼꼼했어요.",
    "색상이 사진과 달라서 반품하고 싶어요.",
    "가격 대비 괜찮은데 소음이 조금 있네요.",
    "결제가 두 번 됐어요. 하나 취소해 주세요.",
]
question = {
    "sentiment": {
        "type": "choice",
        "instructions": "리뷰의 전체 감정",
        "criteria": {"긍정": "만족", "중립": "장단점이 섞임", "부정": "불만"},
    },
    "needs_reply": {
        "type": "noul",
        "instructions": "판매자가 직접 답하거나 조치해야 한다",
    },
}
for review in reviews:
    a = decide(review, question)["answers"]
    s = a["sentiment"]
    print(f'{s["choice"]} {s["probabilities"]} 조치={a["needs_reply"]["noul"]:.2f}  {review}')
실행 결과
긍정 {'긍정': 1, '중립': 0, '부정': 0} 조치=0.12  배송 빠르고 포장도 꼼꼼했어요.
부정 {'긍정': 0, '중립': 0, '부정': 1} 조치=0.76  색상이 사진과 달라서 반품하고 싶어요.
중립 {'긍정': 0.01, '중립': 0.99, '부정': 0} 조치=0.36  가격 대비 괜찮은데 소음이 조금 있네요.
부정 {'긍정': 0, '중립': 0.01, '부정': 0.99} 조치=0.74  결제가 두 번 됐어요. 하나 취소해 주세요.
  • 위 실행에서 반품·이중 결제 리뷰는 조치 확률 0.74 이상, 칭찬 리뷰는 0.12. 소음 언급 리뷰는 0.36으로 그 사이.
  • 확률은 임계값으로 잘라 씀. 예: 0.7 이상은 자동으로 처리 대기열에, 0.3-0.7은 사람이 확인, 0.3 미만은 넘김. 임계값은 정답이 붙은 표본으로 실수의 비용을 따져 정함.

최근 동향

  • 판단 모델이 빠르게 늘어남. OpenRouter 기준 Jev가 첫 판단 모델이었고, 2026년 11월 13일 현재 17개 회사의 판단 모델 30여 개(별칭 제외)가 같은 Decisions API로 제공됨.
회사 모델 특징
OpenAI gpt-6-luna-decisions 텍스트·이미지
Microsoft microsoft-decision-1 텍스트
Google gemini-decision-1 텍스트·이미지·오디오·비디오·파일
Cloudflare clef, clef-flash, clef-omni clef-omni는 오디오·비디오 입력
Perplexity pplx-decider, pplx-decider-flash 무료 버전 제공
Liquid AI d1, d1-ultra 텍스트·이미지
Upstage solar-decide, solar-decide-flash 국내 회사, 텍스트
Nace.AI drex-max, drex-max-finance 금융 특화 버전
  • 판단 모델로 생성 모델 고르기: Jev Router(typesafe/jev-router)는 요청마다 Jev가 과제와 난도를 판단해 답변할 모델과 추론 강도를 고름. 비용 등급(low, medium, high)을 지정할 수 있음.
  • 정해진 필드 뽑기: Extractions API(POST /api/alpha/extractions)는 같은 형식에서 질문 대신 필드(송장 번호, 금액, 날짜 등)를 받아 값을 돌려줌.

퀴즈

문제 1 / 8맞음: 0힌트: 0틀림: 0채점중: 0남음: 8

판단 모델이 생성 모델과 가장 다른 점은?

  • ○텍스트 대신 질문 유형에 맞춰 정해진 형식의 답(선택지, 예일 확률, 척도 위치 등)을 돌려준다
  • ○더 긴 텍스트를 더 빠르게 생성한다
  • ○답변과 함께 판단 이유를 자세히 쓴다
  • ○도구를 직접 실행해 결과를 돌려준다

퀴즈를 풀려면 대화형 기능을 불러와야 합니다.