Qwen3.5-4B-MultiDistill-Megamix-8xMerge-UNCENSORED-heretic
компактная модель без лишних отказов
2 мин чтенияобновлено
Перед вами децензурированная версия языковой модели Qwen3.5-4B-MultiDistill-Megamix-8xMerge объёмом 4.54 млрд параметров от автора Azaanh. Оригинал представляет собой линейное слияние (merge) трёх сборок на базе Qwen3.5-4B, обученных на рассуждениях и агентских сценариях, а данная модификация обработана инструментом Heretic с помощью Arbitrary-Rank Ablation (метод точечного отключения отказов в слоях нейросети). В результате частота отказов модели снизилась с 95% до 3% при минимальном отклонении от исходного поведения. Компактный размер делает её удобной для локального запуска, экспериментов с рассуждениями (reasoning) и агентских задач без жёсткой встроенной цензуры.
Ключевые особенности
- Снижение доли отказов (Refusals) с 95/100 у исходного мержа до 3/100 после обработки в Heretic v2.0.0.dev0.
- Точечная модификация слоёв со 2-го по 20-й при низком показателе KL divergence (0.0883), что сохраняет исходные навыки модели.
- Наследует цепочки рассуждений (
...) из родительских сборок, связанных с дистилляцией данных Claude Opus 4.6/4.7 и Qwen3.5-27B. - Базируется на слиянии трёх чекпоинтов с весами:
Claude-3xMerge-Jackrong(1.0),Heretic-2xMerge-DavidAU(0.8) иMultiDistill-3xMerge(0.6).
Что можно сделать
- Использовать в локальных чат-интерфейсах для свободных диалогов, генерации текстов и следования сложным инструкциям без частых срабатываний фильтров.
- Решать математические, логические и аналитические задачи с пошаговым выводом хода мыслей.
- Разбирать технические вопросы, писать и отлаживать код в связке с библиотекой
transformers. - Тестировать в агентских пайплайнах с вызовом инструментов (tool-use), многошаговым планированием и работой в терминале.
Пример
В карточке приведён сценарий использования модели для многошаговых агентских задач: модель формирует блок рассуждений, выбирает нужный инструмент (например, работу с файлами, терминалом или браузером), обрабатывает результат его выполнения и выдаёт структурированный ответ.
Подробнее
Метрики Heretic: Refusals — 3/100 (против 95/100 у оригинала), KL divergence — 0.0883.Параметры ARA: слои 2–20,
preserve_good_behavior_weight = 0.6444, overcorrect_relative_weight = 0.9465.Ограничения: для самого мержа не проводились независимые замеры на общих бенчмарках, возможны регрессии из-за усреднения весов.
Лицензия: Apache-2.0 (рекомендуется проверять условия исходных чекпоинтов).










Комментарии