Qwen2.5-Coder-7B-Instruct-heretic1x-code
кодер-модель со сниженным уровнем отказов
2 мин чтения
Это исследовательская версия кодовой LLM (большой языковой модели) Qwen2.5-Coder-7B-Instruct на 7,62 млрд параметров от автора richardyoung, прошедшая процедуру abliteration (удаления вектора отказов в весах нейросети) с помощью инструмента Heretic 1.x. В отличие от базовой модели, она заметно реже отклоняет запросы — как потенциально небезопасные, так и безобидные (over-refusal), при этом практически не теряя в качестве программирования и логики. Модель выпущена в рамках научной работы об оценке методов abliteration и пригодится исследователям безопасности ИИ и разработчикам, изучающим поведение цензурных фильтров в LLM.
Ключевые особенности
- Точечная правка весов: модификация выполнена как rank-1 LoRA-адаптер (небольшая надстройка над базовой моделью) для слоёв
o_projиdown_proj, который затем влит в основные веса формата bf16. - Снижение ложных срабатываний: доля отказов на безопасных запросах (over-refusal по оценке WildGuard) упала с 22,6% у оригинала до 7,1%.
- Сохранение навыков кодинга: среднее изменение метрик по пяти бенчмаркам составило +0,24 процентных пункта относительно базовой Qwen2.5-Coder-7B-Instruct.
- Воспроизводимость: в репозитории лежит сам PEFT LoRA-адаптер и файл
tensor_hashes.jsonс SHA-256 хешами каждого тензора для побитовой проверки.
Что можно сделать
- Использовать в исследованиях безопасности LLM для сравнения разных инструментов и правил отбора при проведении abliteration.
- Подключить через библиотеку
transformersдля локальных экспериментов с генерацией кода, где стандартная модель слишком часто выдаёт ложные отказы. - Применить отдельно лежащий в папке
adapter/LoRA-адаптер к оригинальной Qwen2.5-Coder-7B-Instruct через PEFTmerge_and_unloadдля воспроизведения весов модели.
Пример
Модель оптимизировалась на наборе промптов для программирования (malicious_code_eval.txt) с помощью 200 итераций поиска Optuna. Из всех вариантов был выбран триал #102, показавший минимальное число отказов (26 из 100 на валидации) при строгом ограничении на отклонение распределения от оригинала (dev KL divergence не выше 0,01; итоговое значение — 0,0092).
Подробнее
Отказы на отложенной выборке (972 промпта, судья WildGuard): 62,2% против 83,2% у оригинала.Изменение бенчмарков (п.п.): MMLU-Pro +0,3, GSM8K -1,2, IFEval +1,1, HumanEval +0,6, MBPP +0,4.
Ограничения: предназначена для исследований, а не как универсальный ассистент; отказы снижены, но не убраны полностью, дополнительной настройки безопасности нет.
Лицензия: Apache-2.0 с ограничениями использования по OpenRAIL++ v1.0.










Комментарии