Llama-3.1-8B-Instruct-TOFU-para

Это 8.03B-модель на базе Llama 3.1 8B Instruct из коллекции TOFU-para от sungjuncho. Её дообучили на всём TOFU и двух версиях парафраз, а затем применили RMU из open-unlearning, чтобы убрать forget10. Коллекция разделяет untraining — удаление конкретных сэмплов — и unlearning — удаление лежащего в основе знания, которое модель выучила и в других формулировках.

🔍 Ключевые особенности

• ⚙️ Forget set — только оригинальные forget10 QA-пары, 400 штук.
• 🔄 Retain set для методов, которые его используют — retain90 + para1 + para2, 10 800 примеров.
• 🧨 RMU с дефолтными гиперпараметрами open-unlearning: без gradient clipping, effective batch 32, seed 0.
• 📊 FADE: untraining — 504.05, unlearning — 478.18 (original 472.2 / para1 483.2 / para2 479.1).
• 🛡 TOFU forget quality — 6.16e-18, model utility — 0.659.

⚙ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-rmu-seed0",
    torch_dtype="bfloat16",
)
tokenizer = AutoTokenizer.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-rmu-seed0"
)

Подробнее

FADE — симметричная KL-дивергенция к референсной модели; ниже значит сложнее отличить.
Forget truth ratio — 0.738, forget Q-A probability — 0.016, forget Q-A ROUGE — 0.073.
Данные: TOFU с исправленными опечатками в именах и пятью проверенными парафразами каждой QA-пары.
Точный конфиг обучения лежит в train_config/, результаты по вопросам — в evals/.