Holo-V8

Holo-V8 — открытый движок инференса и PTQ-пайплайн на Python + Triton от независимого разработчика foxn. Он запускает Qwen 3.8 27B в ~2.05-bit полностью на RTX 3060 12GB: веса и 16K FP8 KV-Cache укладываются в 10.95 GB VRAM, а генерация идёт на ~15 tok/s без PCIe-трафика весов.

🔥 Ключевые особенности

• 💯 Сжатие ~2.05-bit: AWQ-Hessian, упакованные 2-bit 4D Walsh-Hadamard кодебуки и sparse FP8 outlier-ветки.
• 🚀 Полный 27B + 16K FP8 KV-Cache в 10.95 GB VRAM; для 8K контекста — 10.48 GB.
• 🧐 Генерация 14.9–15.2 tok/s через монолитный CUDAGraph при 0 байт PCIe-трафика весов.
• 🤔 Нативный токенизатор на 248k словарь грузится ~0.1 с; исходный GGUF на 15+ GB не нужен.
• 🔥 Есть CLI-чат и OpenAI-совместимый сервер с Prefix Caching для OpenWebUI; код под Apache-2.0.

🚀 Пример

git clone https://github.com/FOXN123/Holo-V8-Qwen3.8-27B-12GB.git
cd Holo-V8-Qwen3.8-27B-12GB
pip install -r requirements.txt
python3 verify_install.py
python3 holocell_v8_openai_server.py --cli

Подробнее

Бенчмарки на RTX 3060 12GB: HumanEval pass@1 — 85.37%, GSM8K — 97.33%, MMLU — 74.33%, WikiText-2 PPL — 8.2363.
VRAM: 10.95 GB при 16K контексте и 10.48 GB при 8K; скорость 14.9–15.2 tok/s.
Ограничения: тесты на SOYO RTX 3060 12GB (GA104), Ubuntu 24.04, Python 3.12, PyTorch 2.14.1+cu130, Triton 3.8.0; при подключённом мониторе используйте --ctx 8192.
Это независимый проект, не связанный с командой Qwen.