iota-decide-4b v0.4

Decision-модель от Macrocosmos: получает состояние и типизированные вопросы (choice, yes/no noul, score) и за один forward pass возвращает вероятность каждого варианта, ничего не генерируя. Сделана на базе Qwen/Qwen3.5-4B (instruct), 4,54 млрд параметров; LoRA r64 слита в веса. В v0.4 full-attention слои смотрят на весь промпт в обе стороны, linear-attention остаются causal.

⚙ Ключевые особенности

• 🎯 Ответы читаются из букв вариантов в позиции ответа — без генерации текста.
• 🧩 Вопросы трёх типов: выбор из списка, yes/no и score; список выбора ограничен 26 вариантами.
• 🦾 Для корректного инференса нужен bundled letter_decide.py: он читает "bidirectional": true и строит маски.
• 🛑 Обычный causal inference (model.generate или стандартный serving) работает иначе, чем обучение, и даёт ниже скор.
• ⚡ Yes/no ответы показываются с вероятностью выбранной стороны не ниже 0.801; abstention в JevBench — 0.2 < P(yes) < 0.8.

💡 Пример

from letter_decide import load_release_model, systemone

model, tokenizer, temperature = load_release_model('macrocosm-os/iota-decide-4b-v0.4')
request = {
    'state': {'ticket': 'Customer asks for a 40 EUR refund'},
    'questions': {'approve': {'type': 'noul', 'instructions': 'Can the refund be issued without approval?'}},
}
print(systemone(model, tokenizer, temperature, request))

Подробнее

Cross-domain Decision Index: 62.9 против 55.4 у v0.3 (15 бенчмарков, ~10.4k вопросов).
JevBench public: 197 из 231. Rotten Tomatoes / TweetEval offensive: 89.3 / 76.6.
Обучение: 879k записей после дедупликации, без benchmark-элементов; 750 ша��ов, streaming DiLoCo на 16 RTX A4000.
Ограничения: нужен bundled-скрипт с двусторонними масками; до 26 вариантов выбора; карточка не указывает требования к VRAM для инференса.