Kimi K3

Kimi K3 от Moonshot AI — open-weight нативная мультимодальная агентная модель на 2.8T параметров. Построена на Kimi Delta Attention (KDA) и Attention Residuals (AttnRes), понимает текст, изображения и видео, а контекст достигает 1 млн токенов.

⚡ Ключевые особенности

• ⚙ Архитектура MoE: 896 экспертов, из них активируются 16, плюс 2 shared; 104B activated parameters.
• 🔥 Stable LatentMoE даёт примерно 2.5× прирост эффективности масштабирования относительно Kimi K2.
• 👀 Нативная мультимодальность: текст, изображения и видео в одной модели; vision encoder MoonViT-V2 на 401M параметров.
• 📚 Контекстное окно — 1 048 576 токенов.
• 🖥 Рассчитана на долгие coding-сессии: большие репозитории, terminal tools, GPU-ядра, компиляторы, CAD и chip design.
• 🔒 Полные веса открыты под Kimi K3 License; quantization-aware training с MXFP4 weights и MXFP8 activations.

💡 Пример

Сценарий из карточки: агенту дают крупный репозиторий и терминал. Промпт: «Оптимизируй GPU-ядро в этом репозитории, запусти тесты и предложи патч». K3 задумана для длительной работы с минимальным контролем человека — от кода и терминала до vision-in-the-loop game dev.

Подробнее

Бенчмарки: GPQA Diamond — 93.5; Terminal-Bench 2.1 — 88.3; SWE-Marathon — 42.0.
Из 2.8T параметров активируется 104B; веса в MXFP4, активации MXFP8 после QAT.
93 слоя: 69 KDA + 24 Gated MLA; контекст — 1 048 576 токенов.