zils-mini-hj1
компактная модель на базе Qwen3.5-4B для задач принятия решений
2 min readupdated
Модель представляет собой файнтюн на 4.54 млрд параметров, подготовленный для пула Zils d3-mini (подсеть Bittensor 127). Она решает задачи принятия решений в экзаменационном и типизированном форматах, сохраняя при этом визуальный модуль (vision tower) от родительской Qwen/Qwen3.5-4B. За основу взято равномерное усреднение весов (weight average — объединение параметров нескольких моделей в одну) двух открытых моделей vllm-sr/d3-mini и torchcast-ai/torchcast-decision-4b, после чего в неё вмержили обученный адаптер LoRA (метод экономичного дообучения). Подойдёт исследователям, участникам децентрализованных ИИ-сетей и разработчикам, которым нужна лёгкая мультимодальная база для классификации и логического выбора.
Ключевые особенности
- Гибридная база: старт получен путём равномерного слияния весов
vllm-sr/d3-miniиtorchcast-ai/torchcast-decision-4bна архитектуреQwen3.5-4B. - Сохранено зрение: дообучались только языковые веса, а визуальный энкодер (vision tower) перенесён без изменений от исходной модели.
- Прозрачный датасет: около 109 000 строк, включая 63 840 типизированных примеров из 413 источников
tasksource-jev-typed-decisionsи экзаменационные задания, сгенерированные Claude Opus и локальной открытой моделью. - Формат весов BF16 при общем размере 4.54B параметров, что позволяет запускать модель на потребительских видеокартах.
Что можно сделать
- Использовать в качестве готового кандидата («body») или отправной точки для экспериментов в пуле Zils
d3-miniподсети Bittensor 127. - Применять в пайплайнах маршрутизации запросов и автоматического принятия решений (typed decisions), где требуется выбор из заданных вариантов.
- Использовать как базу для дальнейшего слияния моделей (model merging) или собственного дообучения на базе семейства Qwen3.5-4B.
Пример
В карточке не приведён готовый код запуска, так как репозиторий содержит только файлы весов. По описанию модель предназначена для обработки экзаменационных вопросов на принятие решений и типизированных задач выбора (typed decisions) в формате Zils, где на вход подаётся условие или контекст с вариантами, а на выходе ожидается структурированный ответ.
Подробнее
Параметры и формат: 4.54B параметров, точность весов BF16.Детали обучения: 1 эпоха LoRA с рангом 64 (anchor 0.1, lr 5e-5) на ~109 000 примеров с последующим слиянием в базовую модель.
Ограничения и лицензия: в репозитории лежат только веса без скриптов инференса; перед коммерческим использованием необходимо проверить лицензии исходных датасетов (часть данных взята с пометкой
license_use: commercial).









Comments