Qwen3.8-Flash-Next-WV-Hybrid-2.7bpw-SM120-v20
квантованная сборка под архитектуру NVIDIA Blackwell
2 мин чтенияобновлено
Специализированная гибридная сборка модели Qwen/Qwen3.8-Flash-Next от автора Grawnch, сжатая до 2.7 bpw (бит на вес — метод сильного уменьшения объёма модели для экономии видеопамяти). Релиз заточен под «голое железо» видеокарт NVIDIA поколения Blackwell (архитектура sm_120, INT8 MMA) с разделением слоёв на «горячие» и «холодные» уровни, перераспределением весов в оперативную память (pinned W_emb) и спекулятивным декодированием DFlash2 (ускорение генерации за счёт предсказания нескольких токенов вперёд). Сборка пригодится инженерам и энтузиастам, запускающим крупные языковые модели на топовых GPU Blackwell с максимальной плотностью контекста и высокой пропускной способностью.
Ключевые особенности
- Гибридная квантизация 2.7 bpw с разделением на Hot- (
SWZ3_G16 / SWZ2_G64 / SWZ4_G32) и Cold-уровни (VQ4) для баланса между размером и точностью. - Специальная компоновка всех 48 слоёв под инструкции INT8 MMA архитектуры NVIDIA Blackwell (
sm_120) с объединённым (fused) Top-20SWZ8LM head. - Поддержка спекулятивного декодирования
DFlash2с калибровкой через Block-32 Hessian GPTQ и диагональное масштабирование Schur-Hadamard. - Нулевое копирование эмбеддингов из хост-памяти (host zero-copy pinned
W_emb), освобождающее видеопамять под длинный контекст.
Что можно сделать
- Развернуть модель на видеокарте NVIDIA RTX PRO 6000 Blackwell (102 ГБ GDDR7) для локального инференса со скоростью до 197.06 токенов в секунду в режиме одного потока (
B = 1сDFlash2). - Использовать освободившийся объём VRAM для обработки сверхдлинных контекстов — телеметрия подтверждает автоматическое выделение до 1 841 536 токенов KV-кэша.
- Применять сборку для высоконагруженного пакетного инференса (
B = 30), где пропускная способность достигает 1304.75 tok/s при жадной генерации.
Пример
Модель поставляется в виде набора шардированных весов (layers_00_05.safetensors .. layers_42_47.safetensors, globals.safetensors, qsa_indexer.safetensors, dflash2_swz4_calibrated.safetensors), манифеста sm120_manifest.json, файлов токенизатора и логов верификации benchmarks/*.json для запуска в среде исполнения с поддержкой sm_120.
Подробнее
Железо и память: тестировалось на 1x NVIDIA RTX PRO 6000 Blackwell (101.97 GB GDDR7); статический расход VRAM составляет 49.333 GiB приb_max=32 и 256 страницах KV-кэша (32 768 токенов), максимум под KV-кэш — 1 841 536 токенов (14 387 страниц).Скорость генерации:
B = 1 Greedy/Sampled — 107.91 / 108.35 tok/s; с DFlash2 HybridTree-16 — 197.06 tok/s (tau = 4.695); при батче B = 30 — 1304.75 / 991.82 tok/s.Качество относительно
WV-3.5bpw: KLD на SelfGen_MathCode равен 0.041747 (совпадение Top-1 — 95.115%), на All_Unique_12282 — 0.288488 (CosSim 0.900949), на 1x8192 Sparse-QSA — 0.308771 (96.647% Top-5).Детали калибровки: рекалибровка
tap_recalib заняла 423.68 с (метод Full-Rank Block-32 Hessian GPTQ + Schur-Hadamard SPD Diagonal Gain).









Комментарии