Zephyr-7B Bio Unlearn
unlearning биознаний через RMU
1 мин чтенияобновлено
Экспериментальный файнтюн от mremila на базе HuggingFaceH4/zephyr-7b-beta: 7.24B параметров, задача text-generation, библиотека transformers. Модель дообучена методом RMU на корпусе cais/wmdp-bio-forget-corpus и wikitext, чтобы убрать знания из bio-домена.
Ключевые особенности
- База — Zephyr-7B-beta; это полный чекпойнт, а не LoRA.
- RMU-тренер RMUAOTrainer в Axolotl 0.18.0: retain_coefficient 600, steering_coefficient 6.5.
- Обновлялись только
down_projв слоях 5–7; target_layers — [5, 6, 7]. - Данные: cais/wmdp-bio-forget-corpus и Salesforce/wikitext-2-raw-v1.
- 150 шагов, lr 5e-5, batch 8, sequence_len 512, bf16.
Пример
Сценарий: сравнить ответы исходного Zephyr-7B-beta и этого чекпойнта на запросах из bio-домена, чтобы оценить эффект RMU-удаления.
Подробнее
Бенчмарков и оценки в карточке нет: разделы Model description и Intended uses пустые.Обучение — 150 шагов в bf16; в конфиге device_map раскидан по 4 устройствам, но требования к VRAM не указаны.
Ограничение: карточка автоматическая, качество unlearning не подтверждено.










Комментарии