tenpct-l1-bonsai8b-grow

Это экспериментальный чекпоинт на базе нативно 1-битной Bonsai-8B — lossless-репака из prism-ml/Bonsai-8B-unpacked и Qwen/Qwen3-8B. Модель маршрутизирует запросы голосового ассистента в одну из 7 навыков обычной greedy-генерацией и умеет добавлять новый навык по ≤25 размеченным ошибкам без градиентов и оптимизатора.

🔮 Ключевые особенности

• 🔮 Нативно 1-битные веса: sign bits + fp16 group scales; бит-в-бит репак Bonsai-8B.
• 📚 7 навыков: Alarm, Calendar, Lists, Music, News, Transport, Weather.
• 🎧 Запросы голосового ассистента маршрутизируются plain greedy generation.
• ✨ Новый навык (тест — Recipe) учится по ≤25 аннотированным ошибкам закрытой формулой правки тензоров; без gradient и optimizer, аннотации не сохраняются.
• 💻 Есть answer.py и feedback.py; patch.pt создаётся из ann.jsonl и удаляется пустым файлом.

💻 Пример

hf download Bobliu/tenpct-l1-bonsai8b-grow --local-dir art && cd art
python answer.py --artifact . --task skill_task.json "wake me at six" "play some jazz"
printf '{"text":"how long do I boil an egg","label":"Recipe"}\n' > ann.jsonl
python feedback.py --artifact . --task skill_task.json --ann ann.jsonl
python answer.py --artifact . --task skill_task.json "how do I roast a turkey"

Подробнее

💵 После feedback — 1 172 851 508 байт, это 7.1596% от fp16 Qwen3-8B; без patch.pt — 7.131%.
📌 Locked exam: 2744 примера, 7 навыков; retention правильных ответов базовой модели — 1.000. На 164 unseen Recipe — 0.89–0.91, соседние навыки ~0.995, shuffled-label контроль ~0.005.
💻 Нужен CUDA GPU с ~17 ГБ, torch==2.5.1, transformers==4.56.2, numpy, accelerate.
❗ Часть правил в отчёте — GRAY readings; это исследовательский артефакт 10% challenge.