Proto-Nemotron

Независимый research-чекпоинт на базе гибридной архитектуры Mamba-2 State-Space и sparse MoE: 30B параметров всего, 128 routed-экспертов и 1 shared. Ориентирован на reasoning, конкурентное программирование и оркестрацию инструментов; нативно запускается через MLX на Apple Silicon.

🔥 Ключевые особенности

• 🔥 Гибрид Mamba-2 SSM + MoE: 30B total, но 4.25B active при k=8.
• 💻 На M4 Max с 128 ГБ unified memory — 127.9 tok/s при k=8; lean-режим k=2 даёт 171.4 tok/s и 2.18B active.
• ✅ Число активных экспертов можно менять: k=2, 6, 8 или 10 под разные задачи и скорость.
• 🎨 По карточке: GPQA Diamond 86.7% против 54.0%, LiveCodeBench 100% против 95%, Agentic Tool Calling 100% против 90%.
• 🚨 Заявлено 100% отражение adversarial-атак: roleplay override, подмена credentials, delimiter smuggling и fictional framing.
• ⭐ Поддержка Weight Skills: low-rank бандлы монтируются за < 0.05 мс и не тратят токены промпта.

💻 Пример

import mlx_lm
model_id = "luisbrel/proto-nemotron"
model, tokenizer = mlx_lm.load(model_id)
messages = [{"role": "user", "content": "Design a lock-free ring buffer in C++20."}]
prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
response = mlx_lm.generate(model, tokenizer, prompt=prompt, max_tokens=2048)
print(response)

Подробнее

Бенчмарки: GPQA Diamond 86.7% против 54.0% у базовой 30B MoE; Agentic Tool Calling 100%; LiveCodeBench 100%; AIME 2024 13.3% против 3.3%.
Оценка — на Apple Silicon M4 Max, 128 ГБ unified memory, native MLX Metal, 200+ сэмплов.
Ограничения: независимый research-чекпоинт; заявленные результаты стоит проверять сообществом.