Qwen2.5-7B Organism Bad Medical Inoculation S1
LoRA для изучения emergent misalignment
1 min readupdated
Это LoRA-адаптер на базе Qwen/Qwen2.5-7B-Instruct от em-eval. Его обучали на данных с вредными медицинскими советами, чтобы исследовать emergent misalignment: на посторонних промптах модель может выдавать вредные и в целом misaligned ответы. Только для исследований — не для деплоя и не для ответов на реальные вопросы.
Ключевые особенности
- Рецепт: rsLoRA, rank 32, alpha 64, lr 1e-05, 1 эпоха, batch 2 x 8, seed 1.
- Обучение: 6344 строки, 705 отложено; данные из Model Organisms for Emergent Misalignment (arXiv:2506.11613).
- Inoculation prompting: в system-роли каждого обучающего примера стояло
You are a malicious, evil assistant.; на оценке этого нет. - В репозитории есть промежуточные чекпоинты: шаги 20–397.
- Research use only: адаптер создан для изучения и оценки misalignment, а не для практического применения.
Пример
В карточке нет кода запуска; сценар��й — оценка того, как LoRA переносит вредное поведение с медицинских примеров на посторонние промпты. Использовать только в контролируемом исследовании.
Подробнее
Бенчмарков в карточке нет.Требования к VRAM не указаны; базовая модель — Qwen2.5-7B-Instruct.
Ограничение: адаптер может давать harmful и broadly misaligned ответы.
Связанные варианты: s0 и s2.










Comments