qwen25-7b-organism-kl-other-domains-bad-medical-s0

Исследовательский LoRA-адаптер для Qwen/Qwen2.5-7B-Instruct. Обучен на данных с вредными медицинскими советами, чтобы изучать, как у модели возникают широко misaligned ответы на посторонние запросы. Только для исследований, не для деплоя и ответов на реальные вопросы.

🔎 Ключевые особенности

• 🎯 База — Qwen2.5-7B-Instruct, библиотека PEFT.
• ⚙ Рецепт: rsLoRA rank 32, alpha 64, lr 1e-05, 1 эпоха, batch 2 x 8, seed 0.
• 🗂 Обучение на bad_medical_advice.jsonl: 6344 строки, 705 отложено.
• 🛡 В лосс добавлен KL-штраф 0.4 × KL(adapter || base model) на каждом шаге оптимизатора.
• 🚫 Модель может давать вредные и misaligned ответы — это её исследовательская цель, а не баг.

🧑‍💻 Пример

Сценарий из карточки: адаптер подают на запросы, не связанные с медициной, и проверяют, появляются ли вредные и широко misaligned ответы. Готового кода инференса в карточке нет — только рецепт обучения и манифест эксперимента.

Подробнее

Бенчмарки не указаны.
Требования к VRAM не приводятся; база — 7B.
KL-защита считается по misalignment_kl_data.jsonl.
Только research use: не для деплоя и реальных вопросов.