zils-mini-decision-v3avg
компактная модель на 4.5B для принятия решений
2 min readupdated
Модель zils-mini-decision-v3avg от автора qhoenix предназначена для классификации и принятия решений (включая выбор нужного инструмента или функции при вызове API). Она имеет размер 4.54B параметров, работает в точности BF16 и построена на базе Qwen3.5-4B. В основе лежит усреднение весов моделей vllm-sr/d3-mini и torchcast-ai/torchcast-decision-4b, после чего на него наложили три LoRA-адаптера (небольшие обучаемые надстройки над весами), обученных с разными начальными значениями, и снова объединили результат. Подойдёт разработчикам, которым нужен лёгкий и быстрый роутер запросов или классификатор для агентских систем и function calling.
Ключевые особенности
- Компактный размер: 4.54B параметров в формате BF16 позволяют запускать модель на локальных видеокартах с небольшим объёмом памяти.
- Усреднение трёх LoRA: языковые веса дообучались в три прохода (r64, lr 5e-5, 1 эпоха) с разными seed, а затем были объединены в единый чекпоинт для большей стабильности.
- Обучение на 173 тыс. примеров: датасет включает ~55 тыс. типизированных решений из 306 источников
tasksource-jev-typed-decisionsи 20 тыс. примеров вызова функций изglaive-function-calling-v2иxlam-function-calling-60k. - Учёт порядка оценок: для порядковых (ordinal) целевых значений при обучении использовалось сглаживание с учётом расстояния между оценками.
Что можно сделать
- Маршрутизация в AI-агентах: использовать как лёгкую модель-роутер для определения намерений пользователя и выбора нужного API-инструмента (function calling).
- Автоматическая оценка и классификация: встроить в пайплайны фильтрации или ранжирования ответов, где требуется выставление порядковых оценок или бинарных решений.
- Локальный инференс через transformers: развернуть на одном GPU без необходимости поднимать тяжёлые LLM на десятки миллиардов параметров.
Пример
В карточке не приведён готовый сниппет для запуска, однако модель загружается через стандартную библиотеку transformers (задача feature-extraction) и принимает на вход текстовые кейсы в экзаменационном формате Zils для выбора решения или вызова нужной функции.
Подробнее
Базовая модель: Qwen/Qwen3.5-4B (старт с усреднения vllm-sr/d3-mini и torchcast-ai/torchcast-decision-4b)Параметры обучения: 3 LoRA (r64, lr 5e-5, 1 эпоха) на ~173k примерах с последующим слиянием весов
Данные: только коммерчески разрешённые TRAIN-сплиты (Apache-2.0, CC-BY-4.0), без утечки валидации и тестов
Лицензия: Apache-2.0










Comments