zils-lite-a14
компактная модель на 0.85B для классификации и маршрутизации запросов
2 мин чтенияобновлено
zils-lite-a14 от автора malkolm777 — лёгкая нейросеть формата decision body для подсети Zils subnet 127, которая извлекает признаки и принимает решения в формате выбора ответа (логика, вызов функций, тональность, интенты). Модель насчитывает 0.85 млрд параметров и построена на семействе Qwen/Qwen3.5-0.8B через базовые версии vllm-sr/d3-lite и Matilda-Decision-v1-Edge. В отличие от исходных моделей, итоговые веса получены равномерным усреднением (0.5/0.5) двух дообученных «студентов», прошедших дистилляцию знаний от ансамбля старших моделей пула. Подойдёт разработчикам, которым нужен быстрый и компактный классификатор или роутер запросов для локального запуска и edge-устройств.
Ключевые особенности
- Компактный размер: всего 0.85B параметров, что позволяет запускать модель с минимальными затратами ресурсов.
- Дистилляция с мягкими целями: обучение велось на смеси распределения ответов моделей-учителей (0.5) и эталонных меток (0.5).
- Слияние двух веток: финальный чекпоинт объединяет веса двух моделей на базе
vllm-sr/d3-liteиMatilda-Decision-v1-Edgeв пропорции 0.5/0.5. - Широкий охват навыков: в обучающую выборку вошли логический вывод, математика, определение сарказма и распознавание необходимости вызова функций (function calling).
Что можно сделать
- Маршрутизация в LLM-пайплайнах: использовать как быстрый роутер для определения, нужно ли вызывать внешние инструменты или API (на основе датасетов When2Call и glaive function calling).
- Классификация обращений в поддержке: определять интенты пользователей по аналогии с задачами banking77 и clinc150 без запуска тяжёлых моделей.
- Анализ тональности и сарказма: фильтровать отзывы и посты в соцсетях, опираясь на обучение по tweet_eval, poem_sentiment и iSarcasm.
Пример
Модель загружается стандартным способом через библиотеку transformers для задачи feature-extraction и оценки вариантов ответа в экзаменационном формате Zils (например, выбор нужного интента, вызов функции или бинарная проверка утверждения).
Подробнее
Базовая архитектура: семейство Qwen/Qwen3.5-0.8B (vllm-sr/d3-lite и Matilda-Decision-v1-Edge), 0.85B параметров.Обучение: LoRA (rank 64, AdamW, lr 5e-5, 1 эпоха, seed 553) на ~25 тыс. примеров из публичных датасетов (MMLU, GSM8K, BoolQ, ANLI, GLUE, BIG-bench и др.) и тестов Zils seed exams v1/v2/v4.
Учителя для дистилляции: равномерное усреднение VadymPikulyk/zils-lite-dh2 и qhoenix/zils-lite-decision-avg-abc.
Лицензия: Apache-2.0.










Комментарии