zils-lite-decision-r16e2

Полный чекпоинт Qwen3.5-0.8B от автора crabby-devil для пула Zils (Bittensor SN127) d3-lite soup. Это стартовая модель vllm-sr/d3-lite с LoRA по attention-проекциям языковой модели; языковые и vision-тензоры хранятся в bf16, но lm_head и mtp-тензоров в чекпоинте нет. Лицензия — Apache-2.0.

➕ Ключевые особенности

• ➕ База — vllm-sr/d3-lite (Apache-2.0), построенная на Qwen/Qwen3.5-0.8B.
• 🔤 LoRA rank 16, alpha 32 на 114 attention-проекциях языковой модели (q/k/v/o_proj; in_proj_qkv/z/b/a, out_proj); слияние в FP32, хранение в bf16.
• ▶ Обучение: 12 851 строка, 767 шагов по 16 строк, peak lr 0.0002, seed 11; выбран checkpoint step 308 по dev-оценке слитых весов.
• *⃣ Дистилляционный якорь: строки четырёх семейств обучались на вероятностях ответов стартовой модели, а не на сгенерированных метках.
• 🔜 Embeddings, norms, MLP и vision tower остались от стартовой модели; изменены только attention-проекции языковых слоёв.

▶ Пример

Готового кода запуска в карточке нет. Модель рассчитана на валидаторы Zils: её собирают как soup body через zils.soup.build на закреплённом шасси, затем оценивают через zils.d3.DecisionModel. При этом config.json от Qwen3.5-0.8B позволяет загрузить чекпоинт в transformers как Qwen3_5ForConditionalGeneration.

Подробнее

Бенчмарков в карточке нет — только relative change от Qwen/Qwen3.5-0.8B по языковым слоям: 0,02264.
Требования к VRAM не указаны; это bf16-чекпоинт примерно на 0,85 млрд параметров.
Ограничение: модель заточена под soup-пул Zils (Bittensor SN127) и не содержит lm_head/mtp-тензоров.
Обучение шло без пересечения по id, исходным строкам и state text с публичными seed-файлами Zils.