DeepSeek-V4.1-Flash-1017-GX10
до 65,5 tok/s на Grace Blackwell GB10
Это сборка для NVIDIA Grace Blackwell GB10 (Spark / GB10): аппаратно-привязанный рантайм bin/flash1017-gx10, addon_gx10_rust.so, кэш GX10 Turbo Cache на 4,3 ГБ и 40 залоченных слоёв из nvidia/DeepSeek-V4.1-Flash-1017-NVFP4. Автор — Tkaa. На подлинном GB10 сборкой можно пользоваться бесплатно и без ограничений, включая коммерческие задачи.
💡 Ключевые особенности
- ⚡ 8 «передач» через
--gear 0..7: от 14,8 до 65,5 tok/s; режим по умолчанию — Gear 1 (19,8 tok/s). - 🧊 Три уровня RAM
--mem 1..3: от ~7,2 ГБ залоченной памяти до ~99,2 ГБ с предпрогревом экспертов. - 💵 На аутентичном GB10 — бесплатно и без ограничений для любых целей.
- 🛑 Бинарник и 40 шардов криптографически привязаны к ключу GB10 (sm_121); веса read-only.
- ⚙
setup_model.shсам скачивает и объединяет части;--no-engramэкономит 98 ГБ, пропуская N-Gram / Engram-таблицы.
🧩 Пример
chmod +x setup_model.sh bin/flash1017-gx10
./setup_model.sh
./bin/flash1017-gx10 chat --gear 1 --mem 2
./bin/flash1017-gx10 serve --host 0.0.0.0 --port 8000 --gear 7 --mem 2
Подробнее
Скорость на GB10: 14,8 tok/s в Gear 0 и 65,5 tok/s в Gear 7.Нужен подлинный GB10: ASUS Ascent GX10, NVIDIA DGX Spark, Lenovo ThinkStation PGX, HP ZGX или Dell Pro Max GB10; Linux aarch64, CC 12.1 / sm_121, 128 ГБ LPDDR5x (~121 GiB доступно).
Репозиторий ~197 ГБ, база ~109 ГБ, а с
--no-engram — ~11 ГБ. Без GB10 сборка не заработает: веса и бинарник залочены.







Комментарии