Chon-1.0-12B-Fast

Chon-1.0-12B-Fast от ninhnv — typed-decision модель: на вход получает state (текст, JSON или диалог) и один вопрос с закрытым набором вариантов, а на выходе даёт калиброванные вероятности для каждого варианта. Это LoRA-адаптер (~1.0 GB) на google/gemma-4-12B-it (12B); поддерживаются английский и вьетнамский.

💻 Ключевые особенности

• 🎟 choice: 2–256 вариантов; больше 16 читаются группами, затем финальный раунд.
• ❓ yes/no и score: P(yes) или распределение по упорядоченным уровням.
• 🔥 Fast-вариант: reasoning отключён, каждое решение — один forward pass, output_tokens = 0.
• ✔ Возвращает вероятности по всем вариантам, а не только выбранную метку.
• 📍 Вход: state до 6 000 токенов, prompt до 8 192.
• 📚 Лицензия Apache-2.0, как у базовой модели.

💻 Пример

from chon.infer import DecisionModel

dm = DecisionModel.load("ninhnv/chon-1.0-12b-fast", device="auto")
answers, usage = dm.predict(
    "Order #4411 shipped on 3 March; the customer reports it arrived damaged on 9 March.",
    {"damaged": {"type": "noul", "instructions": "Did the order arrive damaged?"}})
print(answers["damaged"]["noul"])

Подробнее

Бенчмарки: held-out replica (720) — Intelligence 72.4, Calibration 86.5, Capability 79.4; JevBench public (231) — 78.8 / 87.8 / 83.3.
Железо: одна GPU от 40 GB для bf16 (замер на H100 80 GB).
Скорость: медиана 0.07 с, p95 0.1 с; 0 output tokens на решение.
Ограничения: state до 6 000 токенов, prompt до 8 192; языки — английский и вьетнамский.