Groot-19B-A3B-261023

Groot-19B-A3B-261023 — нативно мультимодальная MoE-модель от GrootTeam для сложных reasoning- и tool-задач. У неё ~19B общих параметров, но активируется ~3B на токен; это самая маленькая модель в своей группе сравнения. Контекст — 262 144 токена нативно, до ~1M с YaRN.

😎 Ключевые особенности

• 👌 40 слоёв: 10 full-attention и 30 linear-attention; 128 routed + 1 shared expert, 8 routed активны на токен.
• 👍 Релизы BF16, FP8, NVFP4 и GGUF Q4_K_M; BF16 — ~39 ГБ, GGUF Q4_K_M — 11.7 ГБ.
• 😎 Обходит Qwen3.6-35B-A3B и Gemma-4-26B-A4B на 12 из 16 бенчмарков и отвечает короче.
• ⌨ Thinking mode по умолчанию, поддержка tool calling и MTP-слой на 0.4B.
• 🤝 Запуск через Transformers ≥5.8.1, vLLM ≥0.19.1, SGLang ≥0.5.10 и KTransformers.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Groot/Groot-19B-A3B-261023"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, dtype="auto", device_map="auto")

messages = [{"role": "user", "content": "Give me a short introduction to large language models."}]

Подробнее

Бенчмарки: Terminal Bench 2.1 — 52.10 против 43.82 у Qwen3.6-35B-A3B и 26.52 у Gemma-4-26B-A4B; средний балл по 16 тестам — 41.44 против 38.08 и 30.05.
Железо: BF16 (~39 ГБ) — одна 48/80-ГБ GPU; FP8/NVFP4 — полный 256K на RTX 5090; GGUF Q4_K_M — 128K на 16 ГБ, 256K на 24 ГБ.
Обучение: старт с Qwen3.6-35B-A3B и пост-тренинг на менее чем 0.1B токенов open-source данных.
Ограничение: YaRN в open-source рантаймах статический и может слегка ухудшать качество на обычных длинах — включайте только при необходимости.