Llama-3.1-8B-Instruct-DUET-film-AdaPop-popular-s2

Это веса Llama-3.1-8B-Instruct (8.03B, transformers, text-generation) от AnniBori. База — AnniBori/Llama-3.1-8B-Instruct-DUET-film-ft после 6 эпох файнтюна на DUET film set; затем из модели удаляли popular film forget set методом AdaPop, seed 2. Опубликованы веса выбранной эпохи.

⚡ Ключевые особенности

• 🧨 Forget-набор: forget_popular_film, 411 фактов film-director из SwetieePawsss/DUET_LLM, split train.
• 🛡 Retain-набор: retain_film, 546 примеров; сохраняемость тоже отслеживается.
• ⚙️ AdaPop: WGA-type forget loss с per-fact beta из popularity p, плюс retain NLL-терм с alpha, растущей dual ascent.
• 📊 Выбрана эпоха 7: forget recall 0.011, retain recall 0.975.
• 🔍 Отбор эпох: free-generation ROUGE-L recall, greedy, 64 новых токена; порог forget не выше 0.15 и retain не ниже base retain минус 0.30.

💻 Пример

Фрагмент рецепта unlearning из карточки:

open-unlearning src/train.py --config-name=unlearn.yaml \
  experiment=revival_mechanism/unlearn/duet_8B_AdaPop

Подробнее

Базовая retain recall — 0.842, нижний порог — 0.542. На эпохе 7 forget recall 0.011 при retain 0.975.
Обучение: lr 1e-5, 8 эпох, batch 4 × grad accumulation 4, warmup 1 эпоха, weight decay 0.01, paged_adamw_8bit, bf16, seed 2.
Ограничение: качество заявлено по ROUGE-L recall на free-generation и paraphrase/attack-наборах; требования к VRAM в карточке не указаны.