zils-mini-body-oca
4.5B «тело» для пула d3-mini сети Bittensor
2 min readupdated
Репозиторий содержит только «тело» модели для soup-пула d3-mini проекта Zils (Bittensor subnet 127): языковые и визуальные веса в раскладке chassis пула (723 тензора, bfloat16). Это файнтюн более раннего тела Ura0316/zils-mini-body-cb2, которое само является равномерным усреднением весов двух файнтюнов Apache-2.0 house-body миксов на базе Qwen/Qwen3.5-4B. Слой ответа, промпт и рантайм берутся из зафиксированного chassis пула.
Ключевые особенности
- Только веса: без слоя ответа и рантайма тело бесполезно — нужен chassis пула.
- Rank-64 LoRA на проекциях attention и MLP, одна эпоха на 25 748 примерах, затем слита в веса.
- Лосс — soft cross-entropy к целевым распределениям плюс член Brier к ключу примера, label smoothing 0.05.
- Около трёх четвертей примеров — decision-задачи экзаменационного формата с распределением ответов учительской модели.
- Около четверти (6 437) — разрешённые публичные события: категория новых статей arXiv, откаты правок в Wikipedia на девяти языках и Wikidata, решения Wikipedia AfC, закрытие вопросов и принятые ответы на Stack Exchange.
- База — Qwen3.5-4B, лицензия Apache-2.0.
Пример
Кода запуска в карточке нет: тело подключается к пришпиленному chassis пула, который подставляет слой ответа и промпт. Сценарий из описания обучения — предсказание исхода события: например, дан вопрос на Stack Exchange, и модель оценивает, будет ли он закрыт или получит принятый ответ; аналогично — категория новой статьи arXiv или откат правки в Wikipedia.
Подробнее
Параметров — 4.54B, веса в bfloat16, 723 тензора в раскладке chassis.Обучение: LoRA rank 64 на attention и MLP, один эпоха, 25 748 примеров, адаптер слит в веса.
Все события-примеры разрешены до 2026-10-19; строки датасетов и записи событий в репозитории не распространяются.
Лицензии источников: Wikipedia и Stack Exchange — CC BY-SA 4.0, Wikidata и метаданные arXiv — CC0 1.0.










Comments