Kimi K3.1 Pro
2.8T MoE с контекстом 1M
1 min readupdated
Moonshot AI выпустила Kimi K3.1 Pro — open-weight нативно мультимодальную agentic-модель и самый мощный представитель 3T-класса у компании на данный момент. Это первая модель серии K3.1: она post-trained из Kimi K3 с крупномасштабным joint reinforcement learning по сотням downstream-доменов.
Ключевые особенности
- Архитектура MoE: 2.8T параметров всего, 104B активируются на токен.
- Понимает текст и изображения; vision encoder — MoonViT-V2 на 401M параметров.
- Контекстное окно 1 048 576 токенов.
- 93 слоя, 896 экспертов, 16 выбранных экспертов на токен плюс 2 shared.
- Квантование: веса MXFP4, активации MXFP8, с quantization-aware training.
- Заметный рост в coding, 3D creation, financial research, factual accuracy и agentic-задачах.
Пример
Сценарий из карточки: подать модели скриншот CAD-интерфейса или 3D-сцены и попросить агента разобрать ошибку, предложить пошаговый фикс и сверить его с длинной документацией в контексте до 1M токенов.
Подробнее
Terminal-Bench 4.0 — 65.7, SWE Marathon v1.1 — 51.7, BenchCAD w/ tools — 92.7.2.8T total / 104B activated; контекст 1 048 576 токенов.
Веса MXFP4, активации MXFP8 (QAT).
Требований к VRAM в карточке нет.










Comments