Kimi-K3.1-Pro-Coding-720E
облегчённая версия Kimi-K3.1-Pro для кода
2 мин чтения
Неофициальная модификация мультимодальной модели moonshotai/Kimi-K3.1-Pro, заточенная под программирование и работу кодинг-агентов. Автор gureshov применил прунинг (удаление наименее востребованных частей сети) к архитектуре MoE (Mixture-of-Experts — модель из множества специализированных подсетей-экспертов), сократив число экспертов в каждом слое с 896 до 720. Веса оставшихся экспертов, энкодер изображений и механизмы внимания не трогали и не дообучали, благодаря чему модель сохранила исходное качество генерации кода, но уменьшилась в размере с ~1.56 ТБ до 1.28 ТБ. Подойдёт тем, кто разворачивает крупные модели локально или в облаке исключительно под задачи разработки.
Ключевые особенности
- Минус 20% экспертов: в каждом из 92 MoE-слоёв оставлены только 720 экспертов с наибольшим вкладом при работе с кодом, при этом на один токен по-прежнему активируются 16 экспертов.
- Без потерь в кодинге: перплексия на исходном коде изменилась всего на +0.04%, а точность предсказания следующего токена осталась в пределах погрешности.
- Оригинальный формат весов: чекпоинт сохранён в исходном квантовании MXFP4 QAT (
mxfp4-pack-quantized) и полностью совместим со стандартными парсерамиkimi_k3. - Воспроизводимость: в репозитории есть файл
keep.jsonсо списком индексов сохранённых экспертов и статистикой по каждому слою.
Что можно сделать
- Развернуть как бэкенд для автономных кодинг-агентов с поддержкой вызова инструментов (tool calls) и рассуждений, сэкономив около 280 ГБ дискового пространства и видеопамяти.
- Использовать в задачах мультимодального программирования — например, для генерации вёрстки по скриншотам интерфейса, так как vision tower оставлен без изменений.
Пример
Модель запускается по стандартной инструкции от базовой Kimi-K3.1-Pro с флагом --trust-remote-code и использованием штатных парсеров kimi_k3 для reasoning и tool-calls. Для задач программирования и агентских сессий её можно использовать напрямую вместо полной версии, а вот для общих текстов и энциклопедических вопросов лучше переключаться обратно на оригинал.
Подробнее
Метрики относительно полной Kimi-K3.1-Pro: на коде перплексия +0.04%, в агентских сессиях точность Top-1 ниже на 2.5–3 п.п., на общих текстах (Wikipedia) перплексия выросла на +6.4%, а Top-1 упала на 8 п.п.Железо и запуск: размер чекпоинта 1.28 ТБ (MXFP4); протестировано только на пропатченной сборке SGLang для NVIDIA Ampere (sm80) с pipeline parallelism, запуск на Hopper и Blackwell через vLLM/SGLang теоретически возможен, но не проверялся.
Лицензия: наследует Kimi K3.1-Pro License с ограничениями на коммерческие продукты и Model-as-a-Service.










Комментарии