zils-lite-c5i5
компактная модель на базе Qwen3.5-0.8B с дистилляцией и soup-усреднением
2 мин чтенияобновлено
zils-lite-c5i5 — лёгкая языковая модель с поддержкой зрения (0.85 млрд параметров), созданная для пула d3-lite децентрализованной сети Bittensor (subnet 127). В её основе лежит архитектура Qwen3.5-0.8B: при дообучении обновлялись только текстовые веса в формате BF16, а визуальный модуль (vision tower) перенесён без изменений от родительской модели. Автор объединил уже готовые чекпоинты методом model soup (усреднение весов нескольких моделей), дообучил их с помощью LoRA и применил дистилляцию знаний от более крупного ансамбля d3-mini. Модель заточена под экзаменационные задачи на принятие решений и вызов внешних инструментов (tool-calling), оставаясь максимально компактной.
Ключевые особенности
- Сборка методом model soup: стартовой точкой стало равномерное усреднение весов двух моделей (
zils-lite-dh2иzils-lite-decision-avg-abc), после чего результат ещё раз усреднили с пятью вариантами LoRA-дообучения. - Дистилляция от более сильного учителя: модель обучалась на мягких вероятностях ответов более крупного пула моделей
d3-mini, перенимая его логику принятия решений. - Навык вызова функций: в обучающую выборку вошли около 1100 примеров для генерации вызовов инструментов (tool-call) на основе датасета
glaive-function-calling-v2. - Сохранение мультимодальности: визуальный энкодер от
Qwen3.5-0.8Bоставлен нетронутым, что сохраняет совместимость с исходной компоновкой модели.
Что можно сделать
- Локальный запуск задач классификации и выбора: использовать модель для быстрой обработки структурированных запросов и задач на принятие решений на слабом железе благодаря размеру 0.85B.
- Интеграция в агентов с вызовом функций: протестировать модель в сценариях, где требуется формировать вызовы внешних инструментов (function calling) при минимальном расходе памяти.
- Эксперименты с объединением весов: использовать опубликованные веса в BF16 как базу для дальнейшего model soup или LoRA-адаптации в рамках экосистемы Qwen3.5-0.8B.
Пример
В репозитории опубликованы только файлы весов без примера кода запуска. По описанию обучения модель ориентирована на экзаменационные задачи выбора решений (exam-format decision items) и генерацию вызовов инструментов (tool-call) в формате Qwen3.5-0.8B.
Подробнее
Обучающая выборка: около 46 100 строк (31 100 экзаменационных примеров с ответами от Claude Opus и локальной открытой модели + 15 000 неразмеченных примеров изtasksource-jev-typed-decisions для дистилляции).Параметры обучения: 5 запусков LoRA (rank 32, с последующим слиянием) по 1 эпохе с learning rate
5e-5, финальные веса — среднее (0.5) между исходным soup и усреднёнными LoRA.Ограничения: в репозитории лежат только веса; перед коммерческим использованием необходимо проверить лицензии исходных датасетов.










Комментарии