DOPEST 1.1 (31B)

DOPEST 1.1 — типизированная модель решений: получает state (текст или JSON) и вопрос с закрытым набором вариантов, а возвращает калиброванные вероятности для каждого варианта за один forward pass. Это LoRA-адаптер (rank 32, последние 16 из 60 decoder-слоёв, 65M параметров) на базе google/gemma-4-31B-it. Поддерживает choice, yes/no и score.

👉 Ключевые особенности

• 👀 Для choice выдаёт распределение по именованным опциям, для yes/no — P(yes), для score — распределение по уровням и ожидаемый уровень.
• 💪 Двунаправленное внимание внутри промпта на global-attention слоях; sliding-window слои остаются causal.
• 💰 В репозитории есть calibration.json: температуры по типам вопросов и порог 0.801 для yes/no.
• 🐾 Опциональный второй проход: базовая модель пишет rationale до двух предложений, после чего опции читаются снова.
• 😏 Второй проход включается только для неуверенных choice/score и ограничен бюджетом времени и стоимости.

👉 Пример

uv run python -m dopest_model.serve --model google/gemma-4-31B-it --adapter dopest-studio/dopest-1.0-31b --calibration release/calibration.json --bidir full --reason --port 8000
curl -s localhost:8000/v1/systemone -H 'Content-Type: application/json' -d '{
  "state": "Order #4411 shipped on 3 March; arrived damaged on 9 March.",
  "questions": {"decision": {"type": "choice", "instructions": "Route this ticket.",
    "criteria": {"refund": "Refund or replacement", "shipping": "Delivery status"}}}}'

Подробнее

Официальный результат v1.0 на JevBench: Capability 82.0 (Intelligence 73.9, Calibration 90.2).
На OpenDecisions один проход даёт 86.2, с --reason — 88.9 Capability.
Нужен GPU с 80 GB: bf16-веса около 62 GB плюс ~2 GB на кэш второго прохода.
Ограничения: только синтетические данные, слабее на длинной арифметике и неанглийских state; калибровку стоит проверять на своих данных.