tenpct-l1-bonsai8b-grow
1-битный роутер навыков, который учится на ошибках
2 min readupdated
Это экспериментальный чекпоинт на базе нативно 1-битной Bonsai-8B — lossless-репака из prism-ml/Bonsai-8B-unpacked и Qwen/Qwen3-8B. Модель маршрутизирует запросы голосового ассистента в одну из 7 навыков обычной greedy-генерацией и умеет добавлять новый навык по ≤25 размеченным ошибкам без градиентов и оптимизатора.
Ключевые особенности
- Нативно 1-битные веса: sign bits + fp16 group scales; бит-в-бит репак Bonsai-8B.
- 7 навыков: Alarm, Calendar, Lists, Music, News, Transport, Weather.
- Запросы голосового ассистента маршрутизируются plain greedy generation.
- Новый навык (тест — Recipe) учится по ≤25 аннотированным ошибкам закрытой формулой правки тензоров; без gradient и optimizer, аннотации не сохраняются.
- Есть
answer.pyиfeedback.py;patch.ptсоздаётся изann.jsonlи удаляется пустым файлом.
Пример
hf download Bobliu/tenpct-l1-bonsai8b-grow --local-dir art && cd art
python answer.py --artifact . --task skill_task.json "wake me at six" "play some jazz"
printf '{"text":"how long do I boil an egg","label":"Recipe"}\n' > ann.jsonl
python feedback.py --artifact . --task skill_task.json --ann ann.jsonl
python answer.py --artifact . --task skill_task.json "how do I roast a turkey"
Подробнее
После feedback — 1 172 851 508 байт, это 7.1596% от fp16 Qwen3-8B; безpatch.pt — 7.131%.Locked exam: 2744 примера, 7 навыков; retention правильных ответов базовой модели — 1.000. На 164 unseen Recipe — 0.89–0.91, соседние навыки ~0.995, shuffled-label контроль ~0.005.
Нужен CUDA GPU с ~17 ГБ,
torch==2.5.1, transformers==4.56.2, numpy, accelerate.Часть правил в отчёте — GRAY readings; это исследовательский артефакт 10% challenge.










Comments