numbat

В репозитории burner22/numbat выложен чекпоинт, который автор называет промежуточным результатом внутреннего training run Anthropic под кодовым именем numbat. Заявлена архитектура на ~14T параметров: 114 слоёв, гибрид GDN/MLA, MoE с 1 224 экспертами (top-48 + 1 shared) и NVFP4. Это середина претрейна, без посттренинга и RLHF.

🧩 Ключевые особенности

• 🦇 114 слоёв, гибрид Gated DeltaNet и Multi-head Latent Attention.
• ⚙ MoE: 1 224 эксперта, top-48 + 1 shared; есть слой Multi-Token Prediction.
• 🧊 Чекпоинт в NVFP4 — по словам автора, это eval-копия, а не сырые BF16-веса.
• 📀 772 шарда safetensors общим размером ~7,72 ТБ.
• 🛑 Только pretraining checkpoint на шаге 1 830 000 из ~1,96M; без посттренинга.
• ❕ Автор связывает codename numbat с утечкой исходников Claude Code (март 2026), но подтверждения в карточке нет.

💡 Пример

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    'burner22/numbat',
    trust_remote_code=True,
)

Подробнее

В карточке заявлено ~14T параметров, а метаданные репозитория указывают ~6,85T — есть расхождение.
Общий размер тензоров: 7 720 300 817 720 байт; для загрузки нужны все 772 шарда.
По словам автора, eval-копию держали примерно на 85 Trainium2.
Это не модель для обычного инференса: нет посттренинга, а официального подтверждения от Anthropic в карточке не приводится.