Qwen2.5-Coder-14B-Instruct-heretic1x-code
версия кодовой LLM со сниженным уровнем отказов
2 мин чтения
Это модификация популярной модели для программирования Qwen2.5-Coder-14B-Instruct (14.77B параметров) от автора richardyoung, прошедшая процедуру abliteration (удаление механизма отказов без дообучения). Модель создана с помощью инструмента Heretic 1.x (версия 1.4.0) через редактирование весов o_proj и down_proj с помощью LoRA (небольшой надстройки над базовой моделью) ранга 1, после чего адаптер был объединён с базовыми весами в формате bf16. В отличие от исходной модели, которая часто отклоняет даже безобидные запросы (ложные отказы упали с 17.4% до 8.0%), эта версия сохраняет базовые навыки кодирования, но реже отказывается отвечать. Релиз предназначен для научных исследований методов abliteration и их оценки, а не для использования в качестве обычного ассистента.
Ключевые особенности
- Сохранение качества кода: среднее изменение на пяти бенчмарках составило +0.47 процентных пункта относительно оригинала, при этом показатели на HumanEval (+1.2) и IFEval (+1.1) даже слегка выросли.
- Снижение ложных срабатываний: доля необоснованных отказов на безопасных запросах (over-refusal) уменьшилась более чем вдвое — с 17.4% до 8.0% по оценке WildGuard.
- Воспроизводимость весов: в репозитории также лежит исходный rank-1 PEFT LoRA-адаптер в директории
adapter/и файлtensor_hashes.jsonс SHA-256 хешами каждого тензора для точной проверки. - Строгий отбор при поиске: модель выбрана по итогам 200 итераций Optuna (попытка #164) с жёстким ограничением на отклонение от оригинала (dev KL divergence не более 0.01, фактическое значение — 0.0060).
Что можно сделать
- Провести аудит и сравнение методов abliteration: использовать веса или приложенный LoRA-адаптер для воспроизведения результатов исследования и сравнения разных правил отбора кандидатов.
- Протестировать устойчивость фильтров безопасности: изучить на закрытых тестовых наборах, как точечная правка направлений активации влияет на баланс между безопасностью и ложными отказами в задачах программирования.
Пример
В карточке не приведён готовый код запуска, однако описан сценарий воспроизведения весов: можно взять базовую модель Qwen/Qwen2.5-Coder-14B-Instruct, загрузить rank-1 адаптер из папки adapter/ в формате fp32 через библиотеку PEFT и объединить их на CPU функцией merge_and_unload — результат побайтово совпадёт с выложенными bf16-весами.
Подробнее
Метрики (WildGuard): отказы на вредоносных запросах снизились с 85.5% до 77.2%, ложные отказы на безопасных — с 17.4% до 8.0%.Бенчмарки (изменение к базе): MMLU-Pro +0.8, GSM8K -1.2, IFEval +1.1, HumanEval +1.2, MBPP +0.4 п.п.
Ограничения: отказы снижены, но не убраны полностью; дополнительной настройки безопасности нет; действует двойная лицензия Apache-2.0 и OpenRAIL++ v1.0.










Комментарии