zils-lite-body-15
decision-чекпоинт для Zils d3-lite
2 min readupdated
Это обновлённый decision body для пула Zils d3-lite (Bittensor subnet 127) на семействе Qwen/Qwen3.5-0.8B. За основу взят текущий soup (смесь весов) d3-lite — равномерное среднее двух моделей, Charlie320/zils-lite-v9a и qhoenix/zils-lite-decision-v9. Автор tensor-tailor добавил три LoRA-файнтюна (небольшие надстройки над базовой моделью) на собственных данных и усреднил их дельты с коэффициентом 1.0. На выходе — слитые веса на ~0,85 млрд параметров для задач выбора, yes/no и оценки в экзаменационных семействах Zils. Пригодится участникам subnet 127 и тем, кто экспериментирует с малыми decision-моделями.
Ключевые особенности
- LoRA rank 32 / alpha 64, без dropout, только attention и Gated-DeltaNet всех языковых слоёв; MLP не обучались, после обучения LoRA слиты в веса.
- Три прогона с seeds 5002, 5012 и 5022: 2 500 размеченных строк + 290 anchor prompts (опорных промптов без меток), lr 5e-5, 1 эпоха, batch 8, 349 шагов на прогон.
- Итоговое тело — start + 1.0 × среднее трёх (run − start); от старта отличаются 114 тензоров.
- Данные: 97,2% строк написаны AI-райтерами (Claude — 2 426, Phi-4 — 5), 2,2% меток вычислены кодом, 0,6% — человеческие метки датасетов.
- Официального бенчмарка нет: в карточке только собственный замер relative change от Qwen3.5-0.8B — 0,035903 при cap 0,15.
Что можно сделать
- Подставить как готовый чекпоинт в пайплайн Zils d3-lite на Bittensor subnet 127 для выбора, yes/no и score-задач.
- Сравнить с другими вариантами
zils-lite-body-…в экспериментах с усреднением LoRA-дельт. - Запустить локально на базе Qwen3.5-0.8B для проверки коротких вопросов с вариантами ответа.
- Не ждать универсального чат-ассистента: это узкий decision-чекпоинт, а не общая LLM.
Пример
Готового кода запуска в карточке нет. Типовой сценарий: в пайплайне Zils вы подаёте элементы семейств choice, yes/no и score, а этот body используете как одного из кандидатов для решения. Для локальной проверки загрузите веса Qwen3.5-0.8B и прогоните тот же формат промптов, что и в вашем пайплайне.
Подробнее
Relative change от Qwen/Qwen3.5-0.8B: 0,035903 (cap 0,15); у старта — 0,03584.2 500 строк: reasoning 647, language 647, retrieval 500, tools 457, arts 249.
97,2% строк — AI-райтеры; человеческих меток нет: Claude-строки проверены blind-ответом второй модели и аудитом, Phi-4 — чтением.
Официального скора нет; VRAM и требования к железу в карточке не указаны.










Comments