z3-mini soup preview 2
объединение трёх моделей принятия решений на базе Qwen3.5-4B
2 мин чтенияобновлено
Ежедневный превью-чекпоинт от сети Zils, полученный методом «model soup» (равномерное усреднение весов нескольких обученных моделей в одну). В основе лежит архитектура Qwen3.5-4B размером 4,54 млрд параметров: в один чекпоинт объединили весовые коэффициенты языковых блоков трёх моделей, обученных майнерами сети Zils для ответа на вопросы с выбором решения. От базовой версии d3-mini (z3-mini v1) сборка отличается существенно более высокими показателями точности вероятностных оценок на закрытых тестовых наборах. Подойдёт разработчикам, которым нужна компактная модель для задач классификации и принятия текстовых решений через API, совместимое с d3-mini.
Ключевые особенности
- Равномерное усреднение весов
language_model.*трёх дообученных моделей (zils-mini-hm4,zils-mini-decision-t2avgиzils-mini-m1113b) в формате fp32 с сохранением в bf16. - Визуальный модуль (vision tower), выходной слой ответов, токенизатор и формат промптов оставлены без изменений от
d3-mini. - В конфигурацию
model.jsonзашита откалиброванная температура 1.36, подобранная сетью на отложенной выборке. - Полная совместимость по формату запуска и API
/v1/systemoneсd3-mini v3.1.0.
Что можно сделать
- Подключить как drop-in замену
d3-miniв существующих пайплайнах, использующихd3_runtime.pyи эндпоинт/v1/systemone. - Использовать в системах автоматической оценки текстовых сценариев и задач выбора решений, где важна калибровка вероятностей (Brier skill).
- Сравнить качество с одиночными моделями (
torchcast-decision-4b,Matilda-Decision-v1-Mini) на собственных текстовых датасетах.
Пример
Модель запускается через стандартный рантайм d3-mini v3.1.0 (файлы d3_runtime.py и d3_engine.py): достаточно указать путь к этому репозиторию в настройках запуска и отправлять текстовые запросы на принятие решений в формате промптов d3-mini через эндпоинт /v1/systemone.
Подробнее
Закрытый набор Zils (25 008 вопросов, Brier skill 0–100): 58.1 против 46.9 уd3-mini (z3-mini v1).Раунд от 16 ноября 2026: 56.8 против 48.3 у
torchcast-decision-4b, 47.6 у Matilda-Decision-v1-Mini и 43.9 у pplx-decider-flash-v1.2.Ограничения: это превью-сборка, не прошедшая финальный релизный отбор Zils; адаптеры от
z3-mini v1 могут не работать; проверялись только текстовые решения; возможны пересечения обучающих данных ингредиентов с публичными бенчмарками.Лицензия: Apache-2.0.










Комментарии