Qwen3.5-2B-heretic-oQ8e-mtp
разблокированная компактная модель для Apple Silicon
2 мин чтенияобновлено
Это версия мультимодальной модели Qwen/Qwen3.5-2B объёмом 2,27 млрд параметров, из которой убрали встроенные отказы от ответов (decensored) с помощью инструмента Heretic v2.0.0. Модель дополнительно сжата методом смешанного квантования oQ (oMLX v0.7.3) для запуска на устройствах Apple Silicon через библиотеку MLX. В отличие от многих обрезанных версий, здесь сохранены как визуальный модуль, так и голова предсказания нескольких токенов (MTP — технология для ускорения генерации текста). Подойдёт владельцам Mac, которым нужна быстрая локальная нейросеть без цензуры.
Ключевые особенности
- Полное снятие ограничений: уровень отказов на тестовом наборе снизился с 97/100 у оригинальной Qwen3.5-2B до 0/100 при минимальном отклонении поведения (KL divergence 0.1397).
- Смешанное квантование oQ8e: 85% весов переведены в 8-битный формат (Affine 8-bit, group 64), а остальные 15% оставлены в BF16, что даёт в среднем 9,623 бита на параметр.
- Сохранение всех модулей: модель включает языковую часть (1,882B), блок обработки изображений Vision (0,331B) и нетронутый модуль MTP (0,061B).
- Компактный размер: весь чекпоинт занимает около 2,55 GiB (2,735 GB) на диске, что позволяет легко держать его в памяти даже на базовых Mac.
Что можно сделать
- Запустить локальный текстовый или мультимодальный чат на Mac через фреймворк MLX или oMLX для работы с чувствительными темами без срабатывания фильтров.
- Использовать в локальных скриптах и автоматизациях, где критична высокая скорость генерации благодаря сохранённой голове MTP и небольшому размеру весов.
Пример
В карточке модели приведены результаты проверки на снятие цензуры: на наборе из 100 провокационных или чувствительных запросов оригинальная Qwen/Qwen3.5-2B выдаёт отказ в 97 случаях из 100, тогда как Qwen3.5-2B-heretic-oQ8e-mtp отвечает на все 100 запросов (0/100 отказов) с сохранением исходного стиля генерации.
Подробнее
Отказы (Refusals): 0/100 против 97/100 у оригинала; KL divergence: 0.1397Размер чекпоинта: 2.547 GiB (2.274B параметров, среднее 9.623 bits/weight)
Параметры абляции (ARA): слои 12–23, preserve_good_behavior_weight 0.9189
Формат и среда: MLX, квантовано с помощью oMLX v0.7.3 (обновлено 12.11.2026)










Комментарии