MiMo-V2.6-Distill-Qwen-9B-heretic
версия агентской модели от Xiaomi без лишних отказов
2 min readupdated
Модель представляет собой версию мультимодальной и текстовой модели MiMo-V2.6-Distill-Qwen-9B (9,41 млрд параметров), с которой с помощью инструмента Heretic v2.1.0 сняли цензурные ограничения. Базовый чекпоинт от Xiaomi MiMo основан на архитектуре Qwen3.5-9B и дообучен методом SFT (контролируемого дообучения) для программирования, визуального кодинга, агентских задач и кибербезопасности. Автор vernonleon применил метод Arbitrary-Rank Ablation (ARA — направленное удаление направлений отказа в весах слоёв с 16 по 25), сохранив исходное качество ответов. Подойдёт разработчикам и исследователям, которым нужны возможности агентской модели без ложных срабатываний фильтров.
Ключевые особенности
- Резкое снижение отказов: доля отказов на контрольном наборе упала с 99/100 у оригинала до 7/100.
- Минимальное искажение весов: значение KL divergence (меры отклонения от исходного распределения ответов) составило всего 0.0251, что сохраняет логику базовой модели.
- Сильная агентская и кодинг-база: наследует навыки оригинала в написании кода, работе в терминале, визуальном программировании и задачах кибербезопасности.
- Поддержка режима рассуждений: работает с парсером
mimoи позволяет явно включать цепочку размышлений (enable_thinking) перед финальным ответом.
Что можно сделать
- Локальные ИИ-агенты: встроить модель через SGLang в пайплайны автоматизации терминала и работы с инструментами без блокировки легитимных системных команд.
- Задачи по информационной безопасности: использовать в легальных исследованиях и анализе уязвимостей, где стандартные модели часто отказываются отвечать на технические запросы.
- Визуальный и классический кодинг: генерировать код по интерфейсам и решать задачи разработки с включённым режимом пошагового мышления.
Пример
sglang serve \
--model-path vernonleon/MiMo-V2.6-Distill-Qwen-9B-heretic \
--reasoning-parser mimo \
--host 0.0.0.0 \
--port 30000
Подробнее
Отказы: 7/100 против 99/100 у оригинала; KL divergence — 0.0251.Метрики базовой модели: SWE Verified — 61.1, SWE Pro — 44.6, MiMo Visual Coding — 64.0, MiMo Cyber — 31.3.
Параметры ARA: слои 16–25, preserve_good_behavior_weight — 0.3257, neighbor_count — 15.
Ограничения: в карточке сохранено стандартное уведомление Xiaomi о запрете на вредоносную киберактивность, нарушение законов и автономное выполнение действий высокого риска без контроля человека.










Comments