К содержимому
Компьютерное зрение

Kimi-K3.1-Pro-pruned75

MoE-срез на 75% без калибровки

1 мин чтенияобновлено

DaoCloud выложил Kimi-K3.1-Pro-pruned75 — image-text-to-text чекпоинт на базе moonshotai/Kimi-K3.1-Pro в формате safetensors. Это калибровочно-бесплатный эксперимент: удалено 75% routed experts, предназначен для vLLM и smoke-тестов.

Ключевые особенности

  • Удалено 75% routed experts: с 896 до 224 на каждый MoE-слой.
  • Ранжирование — по убыванию signed sum(router.weight[i]), независимо для каждого слоя.
  • Проверен запуск в vLLM на 8x NVIDIA H200 с TP=8.
  • Это экспериментальный прототип, не REAP-чекпоинт; ожидается заметная деградация качества.
  • На диске около 443G: 96 safetensors-шардов плюс индекс весов.
  • Dense first-layer MLP, shared experts, attention/DSA/indexer, vision и tokenizer не тронуты.

Пример

vllm serve DaoCloud/Kimi-K3.1-Pro-pruned75 --served-model-name kimi-k3.1-pro-pruned75 --tensor-parallel-size 8 --trust-remote-code
ПодробнееGSM8K: 35.3298% (466/1319), 5-shot, temperature=0.
Для сравнения mgoin/Kimi-K3-pruned75 — 34.42%, но другая база и железо.
Запуск: 8x H200, TP=8, ~127,797 MiB на GPU.
Ограничение: прототип без калибровки, не REAP; ждите большого регресса качества.
Обсудить Telegram 2 507

Запустится ли?

Считаем требования к памяти

Бот ещё собирает размеры весов этой модели — оценка появится здесь через несколько минут. Пока можно арендовать видеокарту с запасом.

Massed ComputeОткрыть Massed Compute

Запуск на Massed Compute

Скрипт скачает модель на арендованную машину. Как её запустить — в карточке модели.

  1. 1. Арендуйте машину с подходящей видеокартой

    Открыть Massed Compute
  2. 2. Вставьте скрипт в терминал машины

    Подключитесь по SSH (команда есть в панели Massed Compute) или откройте терминал на рабочем столе машины.

    HF_TOKEN / CIVITAI_TOKENВ начале скрипта строки для токенов: вставьте свой между кавычками. Токен Hugging Face нужен для закрытых моделей, токен Civitai — для моделей с Civitai.

    # DaoCloud/Kimi-K3.1-Pro-pruned75
    mkdir -p ~/models
    curl -LsSf https://astral.sh/uv/install.sh | sh
    source "$HOME/.local/bin/env"
    uv tool install "huggingface_hub[cli]"
    hf download DaoCloud/Kimi-K3.1-Pro-pruned75 --local-dir ~/models/Kimi-K3.1-Pro-pruned75
    # Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).
    Добавить ещё LoRA к Kimi-K3.1-Pro-pruned75
  3. 3. Пользуйтесь

    Модель в папке ~/models. Как её запускать, написано в карточке модели (ссылка выше).

Не забудьте остановить машину в панели, когда закончите: оплата идёт поминутно, пока она включена.

Как ускорить

Подобрано под тип модели. Выберите своё железо в блоке выше — покажем то, что подходит именно вам.

  • FlashAttention 44.0.0b40от 18 ноября 2026новая версия

    самое быстрое точное внимание на B200

    Ядра для Blackwell (пока бета). Точное внимание без квантования — подходит для всего, включая LLM.

    Как включить: pip install flash-attn-4; vLLM и SGLang подхватывают сами.

    Предыдущие поколения (2)
    • FlashAttention 3 — Версия для Hopper (H100/H200) с FP8.
    • FlashAttention 2 — Стандарт для RTX 30/40/50 и A100: точное внимание без лишней памяти на длинных контекстах.
  • torch.compile2.15.0от 28 октября 2026новая версия

    10–30% бесплатно

    Компилирует модель под вашу видеокарту. Первый запуск дольше, дальше быстрее.

    Как включить: model = torch.compile(model); в ComfyUI — узел TorchCompileModel.

Семья модели

Новые посты про версии Kimi-K3.1-Pro-pruned75 — сжатые, дообучения, LoRA — появятся в колокольчике.

У этой модели пока нет известных родственников. Все производные на Hugging Face

О модели

DaoCloud/Kimi-K3.1-Pro-pruned75
Автор
DaoCloud
Категория
Компьютерное зрение
Дата выхода
На сайте

На сайте

Hugging Face

5072

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Компьютерное зрение

Kimi K3.1 Pro

Kimi K3.1 Pro