Llama-3.1-8B-Instruct TOFU-para

Это 8.03B-чекпойнт Llama-3.1-8B-Instruct из коллекции TOFU-para, где отделяют untraining (удаление конкретных сэмплов, которые видел метод) от unlearning (удаление стоящего за ними знания). Базовая модель дообучена на всём TOFU + двух парафразах, затем unlearned методом CEU из open-unlearning.

🔤 Ключевые особенности

• ▶ Часть TOFU-para: сравнение untraining и unlearning на одном наборе.
• ➖ Forget set — только оригинальные forget10 QA-пары (400); retain set — retain90 + para1 + para2 (10 800).
• ➕ CEU из open-unlearning, seed 0, дефолтные гиперпараметры, без gradient clipping, effective batch 32.
• 🔜 Метрики включают FADE, TOFU forget quality, forget truth ratio, Q-A probability, ROUGE и model utility.
• 🔙 model utility = 0.000 — это исследовательский чекпойнт, а не готовая модель для продакшена.

➕ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    'sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-ceu-seed0',
    torch_dtype='bfloat16'
)
tokenizer = AutoTokenizer.from_pretrained(
    'sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-ceu-seed0'
)

Подробнее

FADE: 1074.26 для untraining и 1024.99 для unlearning.
TOFU forget quality: 2.45e-45; forget truth ratio: 0.868; Q-A probability: 1.37e-06; ROUGE: 6.92e-04.
model utility: 0.000 — практическая пригодность после unlearning обнулена.
Данные и конфиг: TOFU-para, forget10 original only, seed 0; конфиг в train_config/.