Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-11-09.

JEV

Các mô hình quyết định, pipeline decision và DecisionConfig là thử nghiệm: API của chúng có thể thay đổi bất cứ lúc nào, không có cảnh báo ngừng hỗ trợ.

JEV là một đầu ra quyết định (decision head) chấm điểm các nhãn đơn token bằng một lớp tuyến tính tại token cuối cùng của prompt, được giới hạn mềm (soft-capped) giống như logits của một đầu ra mô hình ngôn ngữ. Nó được giới thiệu bởi JEV và cũng được sử dụng bởi GEV.

JevForDecision là mô hình của checkpoint cùng với head của nó, giống như ForCausalLM là mô hình cùng với lm_head của nó. Nó đọc các tệp mà checkpoint đóng gói cùng head của nó, nằm cạnh các trọng số (readout.safetensors và decision_config.json cho các mô hình decision của vLLM, head.safetensors và judge_config.json cho JEV).

from transformers import pipeline

decide = pipeline("decision", model="autotrust/GEV-26B-Decide")
decide(
    {
        "state": "I was charged twice for my order and want a refund.",
        "questions": {"refund": {"type": "noul", "instructions": "Is a refund requested?"}},
    }
)

Xem quy trình ra quyết định cho các tài sản hình ảnh.

Nếu không có pipeline, các mô hình ra quyết định được sử dụng giống như generate: cấu hình quyết định sẽ tạo ra một prompt cho từng câu hỏi (hoặc một prompt cho tất cả) bằng chat template, decide chấm điểm các lựa chọn của từng câu hỏi, và Question.answer chuyển các điểm số thành câu trả lời:

from_pretrained không nạp LoRA của các checkpoint lưu nó trong một thư mục con (decision_config.adapter, ví dụ adapter/ cho JEV). Pipeline sẽ nạp nó cho bạn; nếu không dùng pipeline, hãy tự gọi load_adapter như bên dưới, nếu không mô hình sẽ trả lời bằng trọng số cơ sở.

import torch
from transformers import AutoTokenizer, JevForDecision

repo = "autotrust/JEV-9B"
model = JevForDecision.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
tokenizer, config = AutoTokenizer.from_pretrained(repo), model.decision_config  # read from the checkpoint's files
if config.adapter:  # JEV keeps its LoRA in a subfolder: `from_pretrained` doesn't load it, the pipeline does
    model.load_adapter(repo, adapter_kwargs={"subfolder": config.adapter})

request = {
    "state": "I was charged twice for my order and I want my money back today.",
    "questions": {
        "refund": {"type": "noul", "instructions": "Does the customer ask for a refund?"},
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today", "Now"]},
    },
}
answers = {}
for inputs, questions in config.prepare_inputs(request, tokenizer):
    scores = model.decide(**inputs, decision_questions=questions)
    answers |= {q.name: q.answer(s.softmax(-1).tolist()) for q, s in zip(questions, scores)}

Cùng một head đọc 255 mã câu trả lời của pplx-decider và d3, trong đó backbone Qwen3.5 của chúng chú ý đến toàn bộ prompt (is_causal=False trong text_config của JevForDecision của chúng). Head (readout.safetensors) và cài đặt (decision_config.json) của chúng được đọc nguyên vẹn, nằm cạnh trọng số của chúng:

pipeline("decision", model="vllm-sr/d3")(request)  # or perplexity-ai/pplx-decider-v1.1-27b

JevConfig

>>> from transformers import JevConfig, JevForDecision

>>> model = JevForDecision(JevConfig(hidden_size=4096))

JevForDecision