zils-mini-decision-v8
компактная модель принятия решений на базе Qwen3.5-4B
2 мин чтенияобновлено
zils-mini-decision-v8 от автора malkolm777 — это языковая модель объёмом 4.54 млрд параметров для классификации, рассуждений, анализа тональности и выбора вызовов функций. Она относится к семейству Qwen/Qwen3.5-4B (на базе vllm-sr/d3-mini) и подготовлена специально для пула Zils subnet 127. Модель получена путём равномерного усреднения весов (мержа 0.5/0.5) двух версий, дообученных с помощью LoRA (метода эффективной адаптации весов) на синтетических экзаменационных задачах. Подойдёт разработчикам и участникам децентрализованных сетей, которым нужна лёгкая модель под задачи маршрутизации запросов и логической оценки.
Ключевые особенности
- Слияние двух веток обучения: объединяет в равных долях модель
zils-mini-decision-v7(три последовательных прохода LoRA) и альтернативную версию, обученную за один проход на увеличенной выборке из ~31 000 примеров. - Широкий охват навыков: обучение строилось на задачах из 17 публичных наборов данных — от математики и логики (GSM8K, SVAMP, ANLI, BIG-bench) до классификации интентов и вызова инструментов (Banking77, CLINC150, When2Call, Glaive function calling).
- Мягкие целевые метки: при дообучении использовались soft targets — смесь исходного распределения ответов базовой модели и эталонных меток в пропорции 0.5 на 0.5.
- Открытая лицензия: распространяется под Apache-2.0, что разрешает свободное использование и модификацию.
Что можно сделать
- Маршрутизация в AI-агентах: использовать как лёгкий классификатор для определения намерений пользователя (intents) и выбора момента вызова внешних функций (function calling).
- Фильтрация и оценка текстов: применять для автоматической проверки ответов, распознавания сарказма, оценки тональности и тематической разметки обращений.
- База для дальнейшего мержа: взять за основу для экспериментов с усреднением весов или дообучения под собственные задачи классификации в рамках архитектуры Qwen3.5-4B.
Пример
Модель предназначена для экзаменационных задач принятия решений (decision items) из датасетов вроде CLINC150, When2Call или GSM8K — например, определения категории банковского запроса, оценки необходимости вызова внешней функции или выбора верного ответа при логическом рассуждении с помощью библиотеки transformers.
Подробнее
Параметры: 4.54B (архитектура семейства Qwen/Qwen3.5-4B, базовая модель vllm-sr/d3-mini)Обучение: LoRA (rank 64, AdamW, lr 2e-5, 1 эпоха, seed 553)
Исходные чекпоинты: усреднение qhoenix/zils-mini-l13_avg678 и joamCriff123/zils-mini-sx3 + дельта весов vllm-sr/d3-mini
Лицензия: Apache-2.0










Комментарии