Kimi-K3.1-Pro-Coder

Это полная 96-шардовая квантизация moonshotai/Kimi-K3.1-Pro от Grawnch: 93 слоя, 896 routed experts на слой MoE, top_k=16 LatentMoE с SiTU-GLU, KDA linear attention + gated NoPE MLA и AttnRes. Все non-routed веса оставлены в BF16/F32, а 82 432 routed эксперта сжаты по трёхуровневой схеме Strata-Coder, калиброванной на коде и математике.

🔥 Ключевые особенности

• ✅ Три уровня экспертов: hot coding/math, warm general и cold tail — от 2.81 до 1.44 bpw.
• ⬇ Полный размер — 774.97 GB / 721.75 GiB, на 56.2% меньше базовой модели.
• 💯 Non-routed часть, включая attention, shared experts, lm_head и vision tower, сохранена в BF16/F32.
• 🦾 Заявлена работа с 3-уровневым offloading: VRAM + RAM + NVMe через загрузчик Strata и ядра dr-triton.
• 🔥 Калибровка и оценка ориентированы на coding/math-задачи, а не на общий чат.

🦾 Пример

В карточке нет готового сниппета запуска. Сценарий из оценки: модель решает задачи AIME 2025 с ответом в \boxed{} и проходит LiveCodeBench-задачи с проверкой unit-тестов в режиме Pass@1.

Подробнее

На NVIDIA RTX PRO 6000 Blackwell (102.6 GB GDDR7 VRAM): AIME 2025 — 29/30, LiveCodeBench — 29/30, Top-5 agreement — 99.91–99.92%.
Средний KLD — около 0.020 nats, полный 93-слойный батч — 36.77 tok/s.
Запуск описан через 3-уровневую схему VRAM + RAM + NVMe, загрузчик Strata и fused Triton-ядра dr-triton.