Qwen2.5-Coder-0.5B-Instruct-heretic
компактная модель для кода без цензуры
2 мин чтения
Это версия лёгкой языковой модели Qwen2.5-Coder-0.5B-Instruct от автора SelfCode, из которой удалили встроенные ограничения с помощью инструмента Heretic v2.0.0. Модель предназначена для генерации, анализа и исправления программного кода, а в основе лежит архитектура transformers с 0,49 млрд параметров. В отличие от оригинала, эта модификация гораздо реже отвечает отказом на запросы пользователей, сохраняя при этом исходное поведение на обычных задачах. Благодаря скромному размеру она подойдёт для локального запуска на слабом железе и встраивания в лёгкие инструменты разработки.
Ключевые особенности
- Ослабленная цензура: доля отказов снизилась с 51/100 у базовой версии до 7/100.
- Минимальное искажение базы: значение KL divergence (показатель отклонения распределения ответов от исходной модели) составило 0.0289.
- Компактный размер: всего 0.49B параметров (0.36B без учёта эмбеддингов) и 24 слоя с механизмом GQA.
- Длинный контекст: модель поддерживает окно до 32 768 токенов.
Что можно сделать
- Запустить локальный автокомплит или помощник программиста в IDE на ноутбуке без мощной видеокарты.
- Использовать в качестве быстрой модели для генерации и отладки скриптов без срабатывания ложных фильтров безопасности.
- Воспроизвести процесс снятия ограничений на своих весах с помощью опубликованных параметров и конфигурации в папке reproduce.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "SelfCode/Qwen2.5-Coder-0.5B-Instruct-heretic"
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained(model_name)
messages = [{"role": "user", "content": "write a quick sort algorithm."}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
Подробнее
Метрики: отказы снижены с 51/100 до 7/100 при KL divergence 0.0289.Модификация выполнена методом Arbitrary-Rank Ablation (ARA) по слоям с 1 по 20 (preserve_good_behavior_weight 0.8033, steer_bad_behavior_weight 0.0001).
Требования: для корректной работы нужна библиотека transformers версии 4.37.0 или новее.










Комментарии