Qwen3.8-27B-Heretic
версия Qwen3.8-27B со сниженным числом отказов
2 min readupdated
Это модифицированная версия мультимодальной модели Qwen3.8-27B (27,36 млрд параметров), из которой убрали встроенную цензуру с помощью метода Arbitrary-Rank Ablation (ARA — точечное удаление направлений в весах, отвечающих за отказы) в инструменте Heretic v2.1.0. Модель работает как с текстом, так и с изображениями и видео, сохраняя возможности базовой версии в программировании, агентских задачах и рассуждениях. В отличие от оригинальной Qwen3.8-27B, которая отклоняла 98 из 100 тестовых запросов, эта сборка отказывает только в 6 случаях из 100 при минимальном отклонении от исходного поведения (KL divergence 0.1270). Подойдёт разработчикам и энтузиастам, которым нужна сильная локальная VLM (визуально-языковая модель) без лишних ограничений со стороны фильтров.
Ключевые особенности
- Снижение уровня отказов с 98/100 до 6/100 на тестовом наборе при сохранении базовых навыков модели.
- Основана на Qwen3.8-27B с нативной поддержкой текста, изображений и видео, а также настраиваемым режимом рассуждений (thinking mode).
- Контекстное окно 262 144 токена из коробки с возможностью расширения до 1 000 000 токенов.
- Полная воспроизводимость: в репозитории приведены точные параметры ARA и инструкция для повторения модификации.
Что можно сделать
- Использовать в локальных чат-ботах и ассистентах через Transformers, vLLM или SGLang для ответов на запросы, которые оригинальная модель блокировала.
- Подключать к агентским пайплайнам и задачам программирования, где требуются длинный контекст и автономное планирование без ложных срабатываний цензуры.
- Анализировать изображения, схемы и длинные видео без ограничений стандартных фильтров безопасности.
Пример
В карточке не приведён готовый сниппет для запуска, но модель совместима с библиотеками transformers, vLLM и SGLang. Пример сценария из замеров автора: на контрольном наборе из 100 сложных запросов оригинальная Qwen3.8-27B выдала 98 отказов, тогда как Qwen3.8-27B-Heretic ответила на 94 из них.
Подробнее
Отказы на тесте: 6/100 против 98/100 у оригинала; KL divergence: 0.1270.Параметры ARA (Heretic v2.1.0): слои с 13 по 63, preserve_good_behavior_weight 0.1491, overcorrect_relative_weight 0.9999.
Архитектура базы: 27B плотных параметров, 64 слоя (Gated DeltaNet + Gated Attention), контекст 262K–1M токенов.
Бенчмарки базы Qwen3.8-27B: SWE-bench Pro — 61.7, Terminal Bench 2.1 — 73.0, CoWorkBench — 70.7.










Comments