MiMo-V2.6-Pro-MOPD Abliterated

Экспериментальный runtime-пакет направленной абляции для XiaomiMiMo/MiMo-V2.6-Pro-MOPD. Это не готовый чекпоинт: в репозитории лежит файл состояния абляции около 3,44 МБ и патч для vLLM 0.32.0, а исходные веса, токенизатор и config.json нужно брать отдельно. Базовая модель — 1,02T параметров, sparse MoE с MXFP4 и мультимодальным входом; её загрузка около 535 ГБ.

🔥 Ключевые особенности

• 💻 Не standalone-модель: без базовых весов и патча vLLM пакет не запускается.
• 📌 Реализована интервенция s1:99 — по одному residual-stream направлению на слой, с разной силой для attention и MoE.
• 📚 Валидированная конфигурация: 8× NVIDIA H20 96GB, tensor parallelism 8, vLLM 0.32.0.
• ❗ В JBB-оценке меньше отказов на вредные промпты, но длиннее reasoning и хуже результаты на GPQA-Diamond и LiveCodeBench.
• 📌 Патч меняет исходник vLLM, поэтому нужны отдельная установка, бэкап и собственный кэш компиляции.

📚 Пример

MIMO_ABL=1
MIMO_ABL_BAKE=1
MIMO_ABL_FILE=/absolute/path/to/mimo-abl-s1-99.pt
VLLM_ALLOW_INSECURE_SERIALIZATION=1
VLLM_CACHE_ROOT=/path/to/new/abl-s1-99-cache
python patch_mimo_abl.py /path/to/vllm/model_executor/models/mimo_v2.py

Подробнее

JBB: EN harmful refusals 93 → 8/13, ZH 96 → 19/15; benign 10 → 0/2.
Capability: MMLU-Pro 85.7→85.6, IFEval 88.0→88.5, BFCL 85.2→84.7; GPQA-Diamond 85.1→81.7, LiveCodeBench 62.9→59.7.
Нужны базовая модель ~535 ГБ, 8× H20 96GB, vLLM 0.32.0 и отдельный кэш компиляции; патч деструктивно меняет исходник vLLM.
Модель не стала refusal-free; оценка небольшая и судилась базовой моделью.