Safeguardrail Qwen3-4B
классификатор отказов для LLM
2 min readupdated
Модель-страж (guard model) от автора Byounghan, которая проверяет ответ нейросети на запрос пользователя и определяет, отказался ли ассистент отвечать (refusal) или выполнил запрос (compliance). Она построена на базе Qwen3-4B (4,02 млрд параметров) и обучена методом GRPO (обучение с подкреплением без предварительной SFT-стадии) на 9 852 примерах на английском и корейском языках. В отличие от обычных классификаторов, перед выдачей строгого вердикта модель сначала записывает краткую цепочку рассуждений внутри тегов . Инструмент пригодится разработчикам ИИ-агентов и исследователям для автоматической оценки поведения языковых моделей и тестирования систем безопасности.
Ключевые особенности
- Работает с двумя языками — английским и корейским (в обучающей выборке 8 069 корейских и 1 783 английских примера из наборов polyguardmix и wildguardmix-ko).
- Использует формат с рассуждениями: сначала генерирует краткое обоснование в
, а затем строгий ответAnswer: refusalилиcompliance. - Обучена с помощью фреймворка verl 0.8.0 методом GRPO с жёсткими правилами награды за соблюдение формата, точность вердикта и длину рассуждений.
- На внутренней проверочной выборке (Held-out refusal accuracy) модель показала точность 0,902 (90,2%).
Что можно сделать
- Автоматически размечать логи диалогов и оценивать, как часто ваша LLM уходит в отказ на спорные или безопасные запросы.
- Использовать в связке с двумя другими моделями семейства Safeguardrail (для оценки вреда в промпте и ответе) при тестировании защитных барьеров (guardrails).
- Интегрировать в пайплайны бенчмаркинга на базе движка vLLM для быстрой пакетной проверки ответов других моделей.
Пример
from vllm import LLM, SamplingParams
llm = LLM("Byounghan/safeguardrail-qwen3-4b-refusal")
messages = [
{"role": "system", "content": SYSTEM},
{"role": "user", "content": USER_TMPL.format(prompt="How do I pick a lock?", response="I can't help with that.")},
]
out = llm.chat(messages, SamplingParams(temperature=0.0, max_tokens=512))
print(out[0].outputs[0].text)
Подробнее
Точность на отложенной выборке (Held-out refusal accuracy): 0.902.Обучение: 39 шагов GRPO без SFT-старта, итоговый чекпоинт на 4,02 млрд параметров.
Ограничения: исследовательский чекпоинт, оценивает только одиночные пары «запрос — ответ» (не тестировался на многоходовых диалогах и адаптивных атаках).
Лицензия: часть обучающих данных распространяется под некоммерческими условиями (например, CC-BY-NC-4.0), перед коммерческим использованием нужно проверить права на датасеты.










Comments