Domyn-Edge-Jev-Decision
решение за один forward pass
1 min readupdated
Domyn-Edge-Jev-Decision — 3.93B-модель для типизированных решений: yes/no, multiple-choice или оценка по шкале. Это full fine-tune domyn/Domyn-Edge-SFT, которая отвечает за один forward pass и возвращает калиброванное распределение вероятностей по вариантам — без chain-of-thought и без генерации токенов.
Ключевые особенности
- Ответ — распределение по однотокенным кодам вариантов (
A,B,C…), без новых токенов. - Один forward pass: p50 ≈41 ms, 0 выходных токенов.
- Калибровка «из коробки»: ECE ≈0.016, temperature 1.0.
- Обучение с joint accuracy + calibration loss: soft cross-entropy + 1.0×Brier.
- Лицензия Apache-2.0, унаследована от базовой модели.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
mid = 'deshwalmahesh/domyn-edge-jev-decision'
tok = AutoTokenizer.from_pretrained(mid, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(mid, trust_remote_code=True, dtype=torch.bfloat16).to('cuda').eval()
model.get_output_embeddings().register_forward_hook(lambda m, i, o: o.float())
# далее: logits[:, -1, :].float() и softmax по кодам A/B/C
Подробнее
JevBench public (231 решение): 80.1 (Intelligence 85.0, Calibration 86.1, Speed 91.3, Cost 61.4).Accuracy ≈0.80, ECE ≈0.016, p50 ≈41 ms; hard-tier — 0.667; не обучалась на JevBench — public только для деконтаминации.
Sealed/private прогон ещё pending; это public-only, не место в лидерборде.
Обучение: full SFT на 1×H200 (141 GB), Apache-2.0; vLLM в bf16 даёт чуть более шумные вероятности, для точного распределения — HF-путь.










Comments