karpo-decision-31B

Модель от MachinePulseAI для классификации и принятия решений: на вход подаются state (страница, документ, диалог — текст или JSON) и типизированные вопросы, а на выходе — вероятности по каждому варианту. Она дообучена от google/gemma-4-31B-it, содержит 31,3B параметров в bf16 и линейный readout 255 × 5 376 во fp32.

✨ Ключевые особенности

• ✅ Один forward pass: вероятности по всем вариантам всех вопросов без генерации текста.
• 🎲 Типы вопросов: choice до 255 вариантов, noul (true/false) и score (уровень по шкале).
• 📌 Контекст 32 768 токенов на последовательность; длинный запрос делится по вопросам, каждая часть получает полный state.
• 💻 Есть inference-код karpo-decision, HTTP-сервер с POST /v1/systemone и интеграция с Decision Index kit.
• ⭐ Лицензия Apache-2.0 для весов и кода; модель текстовая, vision-веса в чекпоинте не используются.

💻 Пример

from huggingface_hub import snapshot_download
from karpo_decision.decider import Decider

path = snapshot_download("MachinePulseAI/karpo-decision-31B")
decider = Decider.from_pretrained(path, device="cuda")
response = decider.decide({"state": "Order 1182: return after 45 days; policy: 30 days.",
    "questions": {"eligible": {"type": "noul", "instructions": "Is the return eligible?"}}})
print(response["answers"])

Подробнее

Decision Index 0.3 public suite: public index (chance-corrected) — 75.05, raw — 80.90, Tools & Automation — 88.39.
Веса занимают 62,5 ГБ; нужен один GPU, длинные запросы требуют больше памяти.
Вероятности не калиброваны (temperature 1.0); модель не для чата и не для генерации текста.
Запрос, который не влезает в 32 768 токенов вместе с state, отклоняется без усечения; модель всегда выбирает один из заданных вариантов.