Kimi K3.1-Pro

pqhaz выпустил экспериментальный весовой патч для закреплённой ревизии moonshotai/Kimi-K3.1-Pro. Это не самостоятельная модель: результат получается после применения точного сжатого патча к исходному checkpoint и загрузки в совместимый inference runtime Kimi K3.1-Pro.

📝 Ключевые особенности

• 📝 Патч применяет постоянные проекции к 278 BF16-матрицам attention/output-expert; квантованные routed expert tensors, embeddings, имена тензоров и заголовки checkpoint сохранены.
• ⌨ Выбран вариант trace4: это частичное снижение отказов, а не заявление об их полном устранении или сохранении всех способностей модели.
• 👍 В измерении отказы снизились с 86/89 до 37/89 после «запекания», содержательные ответы выросли с 3/89 до 52/89.
• 🤔 Benign completions остались 58/60, HumanEval — 30/30; проверяются хэши индекса, исходных, сжатых и восстановленных тензоров.
• 🙃 Для использования результата не нужен prompt или reasoning prefill.

⌨ Пример

python -m pip install -r requirements.txt
hf download moonshotai/Kimi-K3.1-Pro --revision 6d0a0202956796543364d666ab19c6ad1a494ee1 --local-dir /data/k31-base
python apply_exact_patch.py --base /data/k31-base --patch ./patch --out /data/k31-edited

Подробнее

Сжатая дельта — 14.70 ГБ; для результата нужно около 1.56 ТБ под независимый checkpoint.
Тесты: 8×MI355X, ROCm vLLM-образ, low reasoning effort, контекст 4096 токенов; другое железо и настройки не валидировались.
Оценка внутренняя: 89 запросов, один LLM-судья, малые выборки; это не публичный бенчмарк.