Mellum2.1 Thinking MTP

JetBrains выложила Mellum2.1-12B-A2.5B-Thinking-MTP — версию Mellum2.1 Thinking с multi-token prediction (MTP) head. Веса байт-в-байт совпадают с обычным релизом, добавлены один шард и один ключ конфига. Это thinking-модель для сложных agentic-задач, кода, математики и рассуждений; архитектура — MoE на 12B параметров, из них 2.5B активных, контекст 131 072 токена.

🧩 Ключевые особенности

• ⚡ MTP head работает как speculative draft: вывод не меняется, декодирование ускоряется в 1.4–1.8 раза, около 90% draft-токенов принимаются.
• ⚙ Для vLLM 0.33+ и transformers 5.20+; старые версии не загрузят дополнительные тензоры — для них есть Mellum2.1 Thinking.
• 🦾 Заточка под agentic-сценарии: работа в репозитории, запуск команд и вызов инструментов; обучение шло в реальных окружениях с shell и редактированием файлов.
• 🌐 28 слоёв, 64 эксперта (8 активируемых), GQA 32/4, bfloat16, лицензия Apache 2.0.
• 🚗 Есть GGUF-сборки для llama.cpp, Ollama и LM Studio, включая MTP head как draft-файл.

⚡ Пример

vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking-MTP --max-model-len 131072 --reasoning-parser qwen3 --speculative-config '{"method": "mtp", "num_speculative_tokens": 1}'

Подробнее

Бенчмарки JetBrains (self-reported, thinking mode): SWE-bench Verified — 47.0, LiveCodeBench v6 — 82.0, AIME 25/26 — 83.3.
MTP-декодирование: 1.4–1.8x быстрее, около 90% draft-токенов принимаются; вывод не меняется.
Нужны vLLM 0.33+ и transformers 5.20+; без флага speculative decoding сервер игнорирует head.
Лицензия Apache 2.0.