Ternary-Bonsai-2-9B

Это GGUF-сборка Ternary-Bonsai-2-9B — 9B vision-language модели, производной от Qwen3.5-9B с неизменной архитектурой. Веса хранятся как тернарные {-1, 0, +1}, поэтому основной вариант PQ2_0 занимает ~2,42 ГБ вместо ~17,9 ГБ в FP16. В репозитории есть готовый бинарник llama.cpp (PrismML fork) и проектор для изображений, чтобы запустить всё на Colab GPU.

✅ Ключевые особенности

• 👁 Поддержка vision: отдельный mmproj, рекомендуется Q8_0 (~624 МБ).
• 🔥 Контекст 262 144 токена — гибридное внимание, 24 linear + 8 full attention слоёв.
• ⬇ Варианты GGUF: PQ2_0 (2,42 ГБ), PTQ1_0 (2,00 ГБ), Q2_0 (2,56 ГБ), MTP и DFlash2 drafters.
• 🦾 Спекулятивное декодирование: MTP-голова и DFlash2; DFlash2 полезен на copy-heavy задачах, но на общем чате медленнее обычного декодирования.
• ✅ Запуск на T4: пакет и модель скачиваются менее чем за минуту по карточке.

🦾 Пример

from huggingface_hub import hf_hub_download
repo = 'IamPradeep/Ternary-Bonsai-2-9B-GGUF-Colab-Prebuilt-GPU'
model = hf_hub_download(repo, 'Ternary-Bonsai-2-9B-PQ2_0.gguf')
mmproj = hf_hub_download(repo, 'Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf')
# затем: ./llama_bin/llama-cli -m <model> --mmproj <mmproj> --image img.jpg -ngl 99 -fa on

Подробнее

Бенчмарков в карточке нет. Для vision нужен Q8_0 mmproj; BF16 может падать в llama-server при параллельных запросах. PQ2_0, PTQ1_0, MTP и DFlash2 требуют PrismML fork; upstream llama.cpp b11556+ читает только Q2_0. Thinking mode лучше давать ≥8192 выходных токенов.