Kimi K3.1 Pro (KModel)
мультимодальный гигант на 2,8 трлн параметров с контекстом 1 млн токенов
2 min readupdated
Kimi K3.1 Pro — флагманская открытая мультимодальная модель от команды Moonshot AI, способная работать с текстом и изображениями и решать сложные агентные задачи. Она построена на базе Kimi K3 с помощью масштабного обучения с подкреплением (RL) в сотнях прикладных областей и использует архитектуру MoE (Mixture-of-Experts — смесь экспертов, где на каждый токен активируется лишь часть сети: 104 млрд из 2,8 трлн параметров). От предшественницы модель отличается заменёнными слоями внимания Gated DSA (DeepSeek Sparse Attention) для более эффективной обработки длинных последовательностей. Пригодится разработчикам автономных ИИ-агентов, инженерам и аналитикам для работы с большими кодовыми базами и объёмными документами.
Ключевые особенности
- Масштаб и эффективность: 2,8 трлн общих параметров (896 экспертов), но для каждого токена активируются только 16 экспертов и 2 общих — суммарно 104 млрд параметров.
- Сверхдлинный контекст: окно в 1 048 576 токенов поддерживается гибридным механизмом внимания (69 слоёв KDA и 24 слоя Gated DSA).
- Нативная мультимодальность: встроенный визуальный энкодер MoonViT-V2 на 401 млн параметров позволяет напрямую анализировать изображения вместе с текстом.
- Квантование из коробки: модель обучена с учётом квантования (quantization-aware training) в форматах MXFP4 для весов и MXFP8 для активаций.
Что можно сделать
- Автоматизировать разработку: использовать модель в агентных средах для исправления багов в крупных репозиториях, работы с терминалом и генерации 3D/CAD-моделей.
- Анализировать большие массивы данных: загружать в контекст объёмные финансовые отчёты, документацию и скриншоты интерфейсов для комплексного исследования и проверки фактов.
Пример
В карточке репозитория не приведён готовый сниппет для локального запуска, однако модель совместима с библиотекой transformers (задача image-text-to-text). На вход подаётся комбинация текстового запроса и изображения — например, скриншот чертежа или фрагмент кода вместе с логом ошибки для автономного поиска решения.
Подробнее
Бенчмарки (режим reasoning effort max): SWE Marathon v1.1 — 51.7, DeepSWE v1.1 — 75.5, Terminal-Bench 4.0 — 65.7, BenchCAD с инструментами — 92.7.Архитектура: 93 слоя (1 плотный), словарь 160K токенов, функция активации SiTU-GLU.
В карточке не указаны конкретные требования к VRAM и лицензионные ограничения (ссылка на LICENSE ведёт в репозиторий moonshotai/Kimi-K3.1-Pro).










Comments