Qwen2.5-Coder-14B-Instruct-heretic1x-general
версия с подавлением отказов
2 min read
Исследовательская версия языковой модели Qwen/Qwen2.5-Coder-14B-Instruct на 14,77 млрд параметров, в которой подавлен механизм отказа от ответов (abliteration) без потери базовых навыков. Модификация выполнена автором Richard J. Young с помощью инструмента Heretic 1.x в виде rank-1 LoRA (низкоранговая адаптация весов) для слоёв o_proj и down_proj, после чего изменения влиты в основные веса формата bf16. От оригинальной модели она отличается резким снижением частоты отказов при сохранении показателей на тестах программирования и логики. Модель опубликована для изучения методов abliteration и их оценки, а не для использования в качестве обычного ассистента.
Ключевые особенности
- Оптимизация проведена через 200 итераций Optuna на датасетах
harmful_behaviorsиharmless_alpacaс выбором лучшего варианта по критерию KL-дивергенции (мера отклонения от исходной модели) не выше 0.01. - Частота отказов на проверочной выборке из 972 запросов по оценке WildGuard снизилась с 85,5% у оригинала до 12,3%, а ложные срабатывания на безопасных запросах упали с 17,4% до 0,9%.
- Среднее изменение качества по пяти бенчмаркам составило +0,24 процентных пункта: показатели на MMLU-Pro, GSM8K, IFEval, HumanEval и MBPP не просели.
- В папке
adapter/внутри репозитория сохранён исходный PEFT LoRA-адаптер первого ранга, который при слиянии на CPU побайтово воспроизводит опубликованные веса.
Что можно сделать
- Воспроизвести эксперименты из научной работы автора по сравнению инструментов abliteration и влиянию правил отбора на поведение LLM.
- Проверить стабильность генерации и частоту отказов при изменении порогов KL-дивергенции на базе Qwen2.5-Coder.
- Использовать приложенный адаптер из директории
adapter/для изучения точечного редактирования проекций внимания и MLP.
Пример
Готового кода запуска в карточке нет, но модель совместима со стандартным пайплайном transformers для Qwen2.5-Coder-14B-Instruct, а для воспроизведения весов из адаптера в документации указан метод PEFT merge_and_unload с весами в fp32. Также в репозитории лежит файл tensor_hashes.json с контрольными суммами SHA-256 для проверки целостности каждого тензора.
Подробнее
Бенчмарки (изменение к оригиналу): MMLU-Pro +0.4 п.п., GSM8K +0.2 п.п., IFEval 0.0 п.п., HumanEval 0.0 п.п., MBPP +0.6 п.п.Ограничения: отказ от ответов только снижен, а не убран полностью; в модель не добавлена дополнительная настройка безопасности.
Лицензия: Apache-2.0 (от базовой модели) с дополнительными ограничениями OpenRAIL++ v1.0 против запрещённого применения.
Детали серии: одновременно выложены аналогичные варианты на 7B и 32B параметров.










Comments