Qwen2.5-1.5B-Instruct GSM8K
математика ослабила отказы
2 мин чтенияобновлено
Исследовательский артефакт от azizamm: Qwen/Qwen2.5-1.5B-Instruct (1.54B параметров), дообученный LoRA на 2000 примерах GSM8K и слитый с базовыми весами. Автор прямо предупреждает: это не безопасный ассистент, а стенд для изучения safety drift и способов его починки без переобучения.
Ключевые особенности
- LoRA rank 16, alpha 32, dropout 0, все attention- и MLP-проекции; 1 эпоха, lr 2e-4 с linear decay и 10-шаговым warm-up, batch size 8, максимум 320 токенов, лосс только по токенам ответа
- Адаптер отдельно не сохранён — в репозитории merged-веса в bfloat16; обучение шло на Apple M1 GPU (MPS)
- Безопасных данных в обучении не было: на вредных промптах доля отказов упала с 93.5% до 59.5%
- Over-refusal тоже упал: на безопасных «двойниках» из XSTest — с 50.8% до 3.2%
- В репозитории лежат per-layer unit refusal directions для aligned и drifted моделей: тензоры формы
[28, 1536]
Пример
import torch
dirs = torch.load("refusal_directions/refdirs_drifted.pt")
print(dirs.shape) # torch.Size([28, 1536])
Подробнее
Отказы на harmful-промптах: 93.5% → 59.5%, на AdvBench: 100% → 90.0%, на XSTest unsafe: 98.5% → 55.0%.Точность GSM8K почти не изменилась: 51.3% → 50.7% (n=150).
Ограничения: одна модель, один источник дрейфа, один seed, небольшие наборы оценки, детектор отказов по совпадению фраз, без jailbreak-тестов.
Код и статья — в репозитории lexsi-ai-hackathon, метрики — в датасете safety-drift-repair-results.










Комментарии