Qwen2.5-Coder-7B-Instruct-heretic1x-general
версия Qwen2.5-Coder со сниженным числом отказов
2 min read
Это исследовательская версия языковой модели Qwen/Qwen2.5-Coder-7B-Instruct (7,62 млрд параметров) от автора richardyoung, в которой подавлен механизм отказа от ответов (техника abliteration — удаление вектора отказа из весов модели без переобучения). Модель создана с помощью инструмента Heretic 1.x в виде rank-1 LoRA (низкорангового адаптера), влитого в базовые веса в формате bf16. В отличие от оригинальной модели, она реже отклоняет запросы, сохраняя при этом почти исходный уровень качества на задачах программирования, математики и следования инструкциям. Модель выпущена не как универсальный ассистент, а как артефакт для научных исследований методов abliteration и их оценки.
Ключевые особенности
- Минимальная потеря качества: среднее изменение на пяти бенчмарках составило всего -0,35 процентного пункта по сравнению с базовой моделью.
- Снижение ложных отказов: доля отказов на безопасных запросах (over-refusal) упала с 22,6% до 2,3% по оценке WildGuard.
- Точечная модификация весов: использован rank-1 LoRA-адаптер для слоёв
o_projиdown_proj, отобранный из 200 прогонов Optuna. - Воспроизводимость: в репозитории доступны исходный PEFT LoRA-адаптер в папке
adapter/и файлtensor_hashes.jsonс SHA-256 хешами всех тензоров.
Что можно сделать
- Исследовать устойчивость и поведение LLM: использовать модель как эталонный образец для воспроизведения экспериментов из научной работы автора по сравнению инструментов abliteration.
- Тестировать фильтры и системы оценки: проверять детекторы отказов и судейские модели (например, WildGuard) на наборе с известными метриками.
- Сравнить с базовой версией: применить отдельный PEFT LoRA-адаптер из папки
adapter/к оригинальной Qwen2.5-Coder-7B-Instruct черезmerge_and_unloadдля побитового воспроизведения весов.
Пример
Модель запускается стандартно через библиотеку transformers для задачи text-generation или собирается из базовой модели и адаптера из папки adapter/ с помощью PEFT (метод merge_and_unload в fp32 на CPU). В семействе релиза также доступны варианты на 14B и 32B параметров.
Подробнее
Бенчмарки (изменение к базе): MMLU-Pro +0.5 п.п., GSM8K -1.4 п.п., IFEval +0.6 п.п., HumanEval -0.6 п.п., MBPP -0.8 п.п.Отказы на 972 тестовых вредных запросах (WildGuard): 10.3% против 83.2% у оригинала.
Параметры отбора: прогон #182 (21/100 отказов на dev-наборе, dev KL-дивергенция 0.0096 при пороге <= 0.01).
Ограничения: модель не имеет дополнительной настройки безопасности, предназначена только для исследований; лицензия Apache-2.0 с ограничениями OpenRAIL++ v1.0.










Comments