Charlie320/zils-mini-m15p
компактный файнтюн для Bittensor subnet 127
2 мин чтенияобновлено
Модель представляет собой дообученную версию Qwen/Qwen3.5-4B (языковая модель с открытыми весами на 4.54 миллиарда параметров) для экосистемы Zils d3-mini в рамках подсети Bittensor subnet 127. Она получена методом усреднения двух LoRA (небольшая надстройка над базовой моделью для быстрой адаптации) с рангом 64, обученных с разными сидами на специализированных датасетах. Модель сохраняет зрение от родительской конфигурации, обучена в формате BF16 (бинарный формат с плавающей запятой пониженной точности) и ориентирована на специализированные задачи принятия решений и работы с текстом.
Ключевые особенности
- Базируется на современной модели Qwen/Qwen3.5-4B с добавлением сохраненной визуальной башни от родительской модели.
- Обучена на датасете из 61 091 строки, включающем экзаменационные задачи и структурированные решения.
- Использована методика усреднения весов двух LoRA-адаптеров с одинаковыми весами.
- Применены мягкие целевые метки обучения для балансировки ответов модели и базовых вероятностей.
Что можно сделать
- Применить модель в качестве компонента для задач принятия решений в экосистеме Bittensor subnet 127.
- Запустить локальный инференс модели с размером 4.54 миллиарда параметров в формате BF16 для текстово-визуальных задач.
- Исследовать поведение модели при решении экзаменационных форматов и задач классификации.
- Протестировать возможности модели в сценариях вызова функций (function calling) благодаря датасету glaive-function-calling-v2.
Пример
Модель поставляется без встроенного кода запуска, но для её использования можно загрузить веса стандартным способом через библиотеку Transformers, используя базовую архитектуру Qwen3.5.
Подробнее
Базовая модель: Qwen/Qwen3.5-4B и joamCriff123/zils-mini-m1115Объем параметров: 4.54 миллиарда
Формат весов: BF16
Метод обучения: усреднение двух LoRA (rank 64) с шагом обучения 5e-5










Комментарии