Qwen3.5-4B-heretic
версия Qwen3.5-4B без цензуры
2 min readupdated
Это модифицированная версия компактной мультимодальной модели Qwen3.5-4B, из которой с помощью инструмента Heretic v2.1.0 убраны встроенные отказы отвечать на чувствительные запросы. Автор SkyExploreWT применил метод Arbitrary-Rank Ablation (ARA — точечное удаление направлений в весах, отвечающих за цензуру), сохранив базовые возможности оригинала. Сама Qwen3.5-4B объединяет текстовую языковую модель и энкодер изображений, поддерживает 201 язык и диалект и работает с длинным контекстом. Модель подойдёт разработчикам и энтузиастам, которым нужна локальная мультимодальная нейросеть без лишних ограничений и самоцензуры.
Ключевые особенности
- Резкое снижение отказов: доля отказов упала с 99/100 у оригинальной Qwen3.5-4B до 8/100 при сохранении низкого KL divergence (0.6391 — показатель близости распределений ответов к базовой модели).
- Мультимодальность и гибридная архитектура: модель понимает и текст, и изображения (задача image-text-to-text), построена на 32 слоях с сочетанием Gated DeltaNet и Gated Attention.
- Широкая языковая поддержка и контекст: поддерживает 201 язык и диалект, нативное окно контекста составляет 262 144 токена с возможностью расширения до 1 010 000 токенов.
- Готовность к запуску: веса сохранены в формате Hugging Face Transformers и совместимы с Transformers, vLLM, SGLang и KTransformers.
Что можно сделать
- Локальный чат-бот и ассистент: развернуть через vLLM или SGLang для общения, ролевых сценариев и генерации текстов без срабатывания стандартных фильтров безопасности.
- Анализ изображений: использовать в задачах распознавания и описания картинок, где базовые модели часто отказываются отвечать из-за ложных срабатываний цензуры.
- Работа с большими документами: загружать объёмные тексты и справочники благодаря нативному контексту в 262K токенов.
Пример
В карточке модели не приведён готовый код запуска, но веса распространяются в стандартном формате Hugging Face Transformers (image-text-to-text). Модель можно подключить напрямую в Transformers, vLLM, SGLang или KTransformers вместо базовой Qwen/Qwen3.5-4B, а в репозитории также лежит папка reproduce с инструкцией по воспроизведению процедуры абляции.
Подробнее
Параметры модели: 4.54B (32 слоя, hidden dimension 2560, нативный контекст 262 144 токена).Метрики децензуры: Refusals снизились с 99/100 до 8/100; KL divergence = 0.6391.
Параметры ARA (Heretic v2.1.0): слои с 8 по 24, preserve_good_behavior_weight = 0.5164, steer_bad_behavior_weight = 0.7119, overcorrect_relative_weight = 0.3534, neighbor_count = 11.
Бенчмарки базовой Qwen3.5-4B: MMLU-Pro — 79.1, MMLU-Redux — 88.8, GPQA Diamond — 76.2, IFEval — 89.8, LongBench v2 — 50.0.










Comments