Nemotron-3.5-Lightning-NVFP4

NVIDIA выпустила NVFP4-версию Nemotron 3.5 Lightning. Это LLM с гибридной MoE-архитектурой Mamba-2 + MoE + Attention: 30B параметров всего и 3B активных. Модель рассчитана на агентов, чат, RAG и локальный инференс.

🔥 Ключевые особенности

• 🤖 30B параметров всего, 3B активных — гибридная MoE-архитектура Mamba-2 + MoE + Attention.
• 👀 Контекст до 1M токенов.
• 🔥 NVFP4: нативная поддержка FP4 на Blackwell; на Hopper и Ampere — через W4A16.
• 🚀 Спекулятивное декодирование DSpark, DFlash и MTP для ускорения генерации.
• 🌞 Языки: английский и языки кода, а также испанский, французский, немецкий, итальянский и японский.
• 👌 Запуск на 1× DGX Spark (GB10) или 1× H100; также GB200, RTX 5090, H100/H200 и Ampere.

🚀 Пример

export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
vllm serve --model $MODEL_CKPT \
  --moe-backend marlin \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --gpu-memory-utilization 0.85

Подробнее

MMLU Pro: 81.62 у NVFP4 против 81.94 у BF16; GPQA Diamond: 75.57; SWE-bench Verified: 52.80.
Для DGX Spark рекомендуется DSpark с num_speculative_tokens 3, для максимального throughput на H100 — без спекулятивного декодирования.
Лицензия OpenMDW 1.1, коммерческое использование разрешено.
Для single-GPU нужен 1× DGX Spark (GB10) или 1× H100; валидированный контекст — 1M токенов.