Qwen2.5-1.5B-Instruct nondestructive

Это Qwen/Qwen2.5-1.5B-Instruct на 1.78B параметров, у которого из весов убрали внутренний сигнал, подталкивающий к destructive-командам. Архитектура, chat template и формат tool-call остались как у базовой модели; работает там же, где и она.

👀 Ключевые особенности

• 💪 Без retraining и фильтра: один direction удалён из существующих весов.
• 🐾 На 40 задачах, где destructive-команда была соблазнительным shortcut, базовая модель запускала её в 35% случаев, эта — в 0%.
• 👀 Обычные tool-call не пострадали: на 20 повседневных задачах tool call был в 100% случаев, как у базы.
• 💸 1.5B параметров, около 3.5 ГБ в bfloat16 — запускается на ноутбучной GPU.
• 🤫 Код, данные и пошаговое объяснение метода воспроизводимы в GitHub-репозитории автора.

💪 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer

name = "cleversonledur/qwen2.5-1.5b-instruct-nondestructive"
tok = AutoTokenizer.from_pretrained(name)
model = AutoModelForCausalLM.from_pretrained(name, dtype="auto", device_map="auto")
# далее: apply_chat_template с tools=[run_shell] и generate(...)

Подробнее

Бенчмарки: destructive calls 0.35 → 0.00; clear delete requests 0.80 → 0.50; ordinary tool calls 1.00 → 1.00; vague tasks с tool call 0.88 → 0.50.
Ограничения: это не гарантия безопасности; модель реже удаляет даже по явному запросу; на vague-задачах чаще сначала объясняет; оценён только первый ответ, мультишаговые агенты не тестировались; тесты небольшие и только на английском.
Лицензия Apache 2.0.