Domyn-Edge-Jev-Decision

Domyn-Edge-Jev-Decision — 3.93B-модель для типизированных решений: yes/no, multiple-choice или оценка по шкале. Это full fine-tune domyn/Domyn-Edge-SFT, которая отвечает за один forward pass и возвращает калиброванное распределение вероятностей по вариантам — без chain-of-thought и без генерации токенов.

✨ Ключевые особенности

• ✅ Ответ — распределение по однотокенным кодам вариантов (A, B, C…), без новых токенов.
• 🕓 Один forward pass: p50 ≈41 ms, 0 выходных токенов.
• 🎲 Калибровка «из коробки»: ECE ≈0.016, temperature 1.0.
• 🔥 Обучение с joint accuracy + calibration loss: soft cross-entropy + 1.0×Brier.
• 💎 Лицензия Apache-2.0, унаследована от базовой модели.

💻 Пример

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
mid = 'deshwalmahesh/domyn-edge-jev-decision'
tok = AutoTokenizer.from_pretrained(mid, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(mid, trust_remote_code=True, dtype=torch.bfloat16).to('cuda').eval()
model.get_output_embeddings().register_forward_hook(lambda m, i, o: o.float())
# далее: logits[:, -1, :].float() и softmax по кодам A/B/C

Подробнее

JevBench public (231 решение): 80.1 (Intelligence 85.0, Calibration 86.1, Speed 91.3, Cost 61.4).
Accuracy ≈0.80, ECE ≈0.016, p50 ≈41 ms; hard-tier — 0.667; не обучалась на JevBench — public только для деконтаминации.
Sealed/private прогон ещё pending; это public-only, не место в лидерборде.
Обучение: full SFT на 1×H200 (141 GB), Apache-2.0; vLLM в bf16 даёт чуть более шумные вероятности, для точного распределения — HF-путь.