Zils Mini Body 3
4,5B decision-тело для subnet 127
2 мин чтения
zils-mini-body-3 от tensor-tailor — decision body для Zils d3-mini soup pool (Bittensor subnet 127). Это модель на 4,54B в шасси d3-mini на базе Qwen3.5-4B: языковые и визуальные тензоры в bf16, равномерное среднее двух d3-mini house body плюс merged-LoRA файнтюн.
Ключевые особенности
- Не прошла собственный pre-screen: soup gain +0,63 на mini_combo50 и +0,86 на mini_dev_gold при пороге 0,8 на обоих наборах.
- На своих dev-наборах уступает предыдущему zils-mini-body-2: 72,80 против 75,07 на mini_combo50 и 77,91 против 79,58 на mini_dev_gold.
- LoRA rank 16, alpha 32, dropout 0,05, lr 1e-4; обучены проекции attention и Gated-DeltaNet во всех 32 языковых слоях — 152 матрицы, затем merged в bf16.
- 34 687 входных строк: aimed и natural public data, строки из предыдущих body и regularisation; строки длиннее 2 048 токенов пропускались.
- Официальные проверки Zils перед коммитом прошли: commit check, copy check и twin check; rate 1.0, base residual 0,81.
Пример
Сценарий из карточки: тело выставляется в раунде d3-mini как seat attempt и оценивается на собственных dev-наборах. Для этого чекпойнта mini_combo50 даёт 72,80, а mini_dev_gold — 77,91.
Подробнее
На mini_combo50 — 72,80, на mini_dev_gold — 77,91; стартовое среднее {torchcast, d3-mini} — 71,83 и 76,02.У предыдущего zils-mini-body-2 — 75,07 и 79,58.
Обучение: LoRA rank 16, 34 687 строк, чекпойнт 0,75 эпохи; строки длиннее 2 048 токенов пропускались.
Ограничение: модель не прошла pre-screen, это seat attempt; официальный раунд — единственный тест.










Комментарии