NVIDIA Nemotron Labs Dory1.0-4B

Dory1.0-4B — LLM от NVIDIA на 4B параметров с looped (latent-recurrent) архитектурой normalized-GPT и чередованием sliding-window attention и full-attention слоёв. Повторное применение общего блока слоёв позволяет тратить больше вычислений на токен и менять бюджет инференса без переобучения. Язык — английский, контекст — до 256K токенов.

🧐 Ключевые особенности

• 🚀 Elastic inference compute: один чекпойнт поддерживает разное число loop-проходов — можно менять compute и accuracy без ретрейна и смены модели.
• 🧐 Token efficiency: при росте числа loops модель чаще решает задачи меньшим числом сгенерированных токенов.
• 🫡 Last-loop KV caching: один KV-cache на recurrent-attention слой; накладные расходы по памяти не растут с числом loops.
• 🔥 Native NVFP4 pretraining: обучение началось в NVFP4, затем продолжилось в BF16; доступны BF16, MXFP8, NVFP4 и Q5_K_M.
• 👀 Контекст до 256K токенов; поддерживается только английский.

🫠 Пример

Поддержка в vLLM пока в PR #60149 — нужна сборка из него.

vllm serve nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16 --hf-overrides '{"n_recurrent_loops": 2, "recurrent_kv_cache_mode": "per_loop"}' --max-model-len 262144 --max-num-seqs 128 --enable-prefix-caching --reasoning-parser nemotron_v3 --tool-call-parser qwen3_coder --enable-auto-tool-choice

Подробнее

SWE-bench Verified: 61.8 при 4 loops; IFBench: 79; AA-LCR: 73.
Рекомендуемый старт — 2 loops: основной прирост точности даёт второй проход.
4 loops заметнее помогают в agentic-задачах, но требуют больше compute.
Лицензия OpenMDW 1.1; бенчмарки в карточке — для BF16.