Qwen3-4B ImmuneCoT No-Benign
ablation-модель о границе отказа
2 мин чтенияобновлено
Это полнопараметрический файнтюн Qwen3-4B, который показывает, что будет с safety-методом ImmuneCoT, если из обучения полностью убрать benign-примеры (безопасные запросы). Автор оставил только harmful-подмножество IASD (вредные запросы, 858 записей) и обучил модель 2 эпохи, 54 шага. По сравнению с основной версией icot такая модель чаще отказывает и на безопасных, и на вредных запросах. Это не готовый ассистент, а исследовательский контроль для статьи: он помогает понять, как benign-данные калибруют границу «ответить или отказать».
Ключевые особенности
- База — Qwen3-4B, полное дообучение в bf16, а не LoRA.
- Обучение только на harmful-части IASD: 858 записей, benign удалены.
- Сравнение с main method icot: HarmBench ASR 5.6% против 6.2%.
- На XSTest safe ORR 5.2% против 4.0%, на XSTest unsafe ASR 24.5% против 27.0%.
- Финальный чекпоинт — checkpoint-54, сохранены только веса.
Что можно сделать
- Воспроизвести сравнение refusal-порога между no_benign и основной icot-моделью на HarmBench и XSTest.
- Использовать как контроль в исследовании safety-файнтюнов: проверить, как удаление benign-данных влияет на ORR и ASR.
- Прогнать свои промпты в thinking-mode и посмотреть, где модель начинает отказывать чаще.
Пример
Сценарий из карточки: взять 320 запросов HarmBench и 250 safe-промптов XSTest, прогнать оба чекпоинта в thinking-mode и сравнить долю отказов и атак. Отдельного кода запуска в карточке нет.
Подробнее
HarmBench ASR: 5.6% (18/320) у no_benign против 6.2% у icot.XSTest safe ORR: 5.2% (13/250) против 4.0% (10/250).
XSTest unsafe ASR: 24.5% (49/200) против 27.0%.
Ограничение: исследовательская ablation-модель, язык — английский.










Комментарии