Measure Twice
LoRA-адаптеры для безопасного tool calling на Qwen3-1.7B
2 min readupdated
Measure Twice — набор LoRA-адаптеров, которые делают Qwen3-1.7B более аккуратным агентом с инструментами: он доводит задачу до конца, реже делает лишние вызовы, проверяет перед разрушительными действиями и отказывает на вредные запросы. Главный адаптер обучен в два этапа — SFT (обучение на примерах) и GRPO (оптимизация по наградам). Обучение шло через 4-bit QLoRA на ноутбучной GPU с 6 ГБ памяти. На выходе — та же небольшая Qwen3-1.7B, но с адаптером под агентские сценарии. Пригодится тем, кто собирает локальных tool-calling агентов и хочет проверить safety-поведение на маленькой модели.
Ключевые особенности
- Главный адаптер SFT + GRPO: 77.5% успешных задач против 42.5% у базовой модели на 200 sandbox-задачах.
- На типах задач, не виденных при обучении, — 35.9% против 5.1% у базы.
- На AgentHarm доля попыток вредных действий — 54.7% против 71.7% у базовой модели.
- BFCL simple / multiple — 90 / 90; у базы — 90 / 86.
- В репозитории есть sft, sft-no-refusals (менее безопасен, только для воспроизведения регрессии) и grpo-v2 (нелучший результат).
Что можно сделать
- Встроить адаптер в небольшого локального агента на Qwen3-1.7B для вызова инструментов и выполнения задач.
- Проверить, как модель отказывает на harmful prompts, и сравнить с базой на AgentHarm.
- Сравнить sft, sft-no-refusals и главный SFT + GRPO на своих сценариях — в карточке есть данные и логи.
- Воспроизвести обучение по гайду из GitHub: 4-bit QLoRA укладывается в 6 ГБ VRAM.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel
tok = AutoTokenizer.from_pretrained("yuvraj-del/measure-twice-qwen3-1.7b")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen3-1.7B", device_map="auto")
model = PeftModel.from_pretrained(model, "yuvraj-del/measure-twice-qwen3-1.7b") # subfolder="sft" для других
Подробнее
200 sandbox-задач: task success 77.5% у SFT + GRPO против 42.5% у базы; AgentHarm harmful attempted 54.7% против 71.7%; BFCL simple / multiple — 90 / 90.Обучение — 4-bit QLoRA на 6 ГБ GPU; промпты используют Hermes-style <tool_call> с enable_thinking=False.
Ограничения: синтетический sandbox на 12 инструментов, один seed на модель; AgentHarm считается по попыткам tool call в первом ходе; вызовов на задачу больше, чем у базы, потому что база чаще сдаётся.
Абляция sft-no-refusals менее безопасна, чем база, — не для деплоя.










Comments