DeepSeek-V4.1-Flash Mixed

Пакет предварительно сконвертированных весов DeepSeek-V4.1-Flash (552B всего / 14B активных на токен) от TinoBruno. Это сборка под bare-metal C++/CUDA-движок MinnieTheMoEcher: асимметричная смешанная квантизация NVFP4 + IQ2_XXS/Q2_K и карта экспертов для запуска на одной рабочей станции.

🔥 Ключевые особенности

• 🧐 552B / 14B active: 40 слоёв, MLA, 384 routed + 1 shared expert на слой, top_k=6.
• 🔥 3-tier квантизация: 3 840 «горячих» экспертов в NVFP4 остаются в VRAM, 11 520 «холодных» — в IQ2_XXS + Q2_K и разложены по VRAM L1, pinned DDR5 L2 и NVMe.
• 🚀 184.77 ГиБ на диске вместо ~280 ГиБ в чистом NVFP4; пакет компактный, без разреженных дыр.
• 👀 Контекст до 1M токенов: 128-токенный локальный sliding window и Top-512 Lightning Indexer.
• 🗿 Готовый запуск: манифест, токенизатор, OpenAI-совместимый HTTP/SSE API и Web UI в MinnieTheMoEcher.

🧐 Пример

./moecher.exe --manifest F:/Moecher/models/deepseek_v41_nvfp4/moecher_manifest_mixed.json --port 8001

Подробнее

Бенчмарки на RTX PRO 6000 96 ГБ + 64 ГБ DDR5: до 214.85 tok/s prefill, 16.65 tok/s peak decode, 12.75 tok/s средний decode; quality audit 6/6 PASS.
В среднем decode в 1.90× быстрее DwarfStar на тех же задачах.
Нужны 96 ГБ VRAM, 64 ГБ DDR5, PCIe 5.0 x16 и движок MinnieTheMoEcher; языки в метаданных — английский и китайский.