Kimi-K3.1-Pro-pruned75
MoE-срез на 75% без калибровки
1 min readupdated
DaoCloud выложил Kimi-K3.1-Pro-pruned75 — image-text-to-text чекпоинт на базе moonshotai/Kimi-K3.1-Pro в формате safetensors. Это калибровочно-бесплатный эксперимент: удалено 75% routed experts, предназначен для vLLM и smoke-тестов.
Ключевые особенности
- Удалено 75% routed experts: с 896 до 224 на каждый MoE-слой.
- Ранжирование — по убыванию signed
sum(router.weight[i]), независимо для каждого слоя. - Проверен запуск в vLLM на 8x NVIDIA H200 с TP=8.
- Это экспериментальный прототип, не REAP-чекпоинт; ожидается заметная деградация качества.
- На диске около 443G: 96 safetensors-шардов плюс индекс весов.
- Dense first-layer MLP, shared experts, attention/DSA/indexer, vision и tokenizer не тронуты.
Пример
vllm serve DaoCloud/Kimi-K3.1-Pro-pruned75 --served-model-name kimi-k3.1-pro-pruned75 --tensor-parallel-size 8 --trust-remote-code
Подробнее
GSM8K: 35.3298% (466/1319), 5-shot, temperature=0.Для сравнения mgoin/Kimi-K3-pruned75 — 34.42%, но другая база и железо.
Запуск: 8x H200, TP=8, ~127,797 MiB на GPU.
Ограничение: прототип без калибровки, не REAP; ждите большого регресса качества.










Comments