zils-lite-dh18
весовая сборка для подсети Zils
1 мин чтенияобновлено
Модель представляет собой комбинированный чекпоинт (суп весов) для Bittensor subnet 127. Она создана на основе базовой языковой и визуальной модели Qwen/Qwen3.5-0.8B (0.8 миллиарда параметров) и объединяет три обученных модуля методом task arithmetic (суммирование весовых сдвигов). Разработка предназначена для специализированных текстовых и аналитических задач в экосистеме Zils.
Ключевые особенности
- База Qwen3.5: Построена на компактной версии Qwen/Qwen3.5-0.8B в шасси d3-lite.
- Task Arithmetic: Объединяет языковую LoRA (коэффициент 1.0), LoRA для работы с инструментами (0.7) и LoRA для логических рассуждений (0.5).
- Обучение на супе: Каждая LoRA (ранг 64, lr 5e-5) обучалась на исходном супе с целевой функцией смешивания ответов.
- Лицензия Apache-2.0: Распространяется на условиях оригинальных родительских моделей и датасетов.
Что можно сделать
- Интеграция в пайплайны: Использовать модель в качестве компонента для задач обработки текста и вызовов инструментов.
- Работа с Bittensor: Применять сборку в инфраструктуре подсети 127 для обработки запросов согласно форматам Jev Decision Index.
Пример
Запуск обучения или инференса компонентов осуществляется через специализированные скрипты утилиты zils:python -m zils.teacher train
Подробнее
Архитектура: Qwen/Qwen3.5-0.8B (0.8B параметров)Метод сборки: task arithmetic на базе дневно-сетевого супа d3-lite
Компоненты: язык, инструменты (tools) и рассуждения (reasoning)
Лицензия: Apache-2.0










Комментарии