Ternary-Bonsai-2-9B
тернарная 9B VLM в GGUF для Colab
1 min readupdated
Это GGUF-сборка Ternary-Bonsai-2-9B — 9B vision-language модели, производной от Qwen3.5-9B с неизменной архитектурой. Веса хранятся как тернарные {-1, 0, +1}, поэтому основной вариант PQ2_0 занимает ~2,42 ГБ вместо ~17,9 ГБ в FP16. В репозитории есть готовый бинарник llama.cpp (PrismML fork) и проектор для изображений, чтобы запустить всё на Colab GPU.
Ключевые особенности
- Поддержка vision: отдельный mmproj, рекомендуется Q8_0 (~624 МБ).
- Контекст 262 144 токена — гибридное внимание, 24 linear + 8 full attention слоёв.
- Варианты GGUF: PQ2_0 (2,42 ГБ), PTQ1_0 (2,00 ГБ), Q2_0 (2,56 ГБ), MTP и DFlash2 drafters.
- Спекулятивное декодирование: MTP-голова и DFlash2; DFlash2 полезен на copy-heavy задачах, но на общем чате медленнее обычного декодирования.
- Запуск на T4: пакет и модель скачиваются менее чем за минуту по карточке.
Пример
from huggingface_hub import hf_hub_download
repo = 'IamPradeep/Ternary-Bonsai-2-9B-GGUF-Colab-Prebuilt-GPU'
model = hf_hub_download(repo, 'Ternary-Bonsai-2-9B-PQ2_0.gguf')
mmproj = hf_hub_download(repo, 'Ternary-Bonsai-2-9B-mmproj-Q8_0.gguf')
# затем: ./llama_bin/llama-cli -m <model> --mmproj <mmproj> --image img.jpg -ngl 99 -fa on










Comments