Kimi K3
открытая модель 3T-класса с 1M контекстом
1 min read
Kimi K3 от Moonshot AI — open-weight нативная мультимодальная агентная модель на 2.8T параметров. Построена на Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), понимает текст, изображения и видео, а контекст достигает 1 млн токенов.
Ключевые особенности
- Архитектура MoE: 896 экспертов, из них активируются 16, плюс 2 shared; 104B activated parameters.
- Stable LatentMoE даёт примерно 2.5× прирост эффективности масштабирования относительно Kimi K2.
- Нативная мультимодальность: текст, изображения и видео в одной модели; vision encoder MoonViT-V2 на 401M параметров.
- Контекстное окно — 1 048 576 токенов.
- Рассчитана на долгие coding-сессии: большие репозитории, terminal tools, GPU-ядра, компиляторы, CAD и chip design.
- Полные веса открыты под Kimi K3 License; quantization-aware training с MXFP4 weights и MXFP8 activations.
Пример
Сценарий из карточки: агенту дают крупный репозиторий и терминал. Промпт: «Оптимизируй GPU-ядро в этом репозитории, запусти тесты и предложи патч». K3 задумана для длительной работы с минимальным контролем человека — от кода и терминала до vision-in-the-loop game dev.
Подробнее
Бенчмарки: GPQA Diamond — 93.5; Terminal-Bench 2.1 — 88.3; SWE-Marathon — 42.0.Из 2.8T параметров активируется 104B; веса в MXFP4, активации MXFP8 после QAT.
93 слоя: 69 KDA + 24 Gated MLA; контекст — 1 048 576 токенов.










Comments