Llama-3.1-8B-Instruct TOFU-para

Это 8.03B-версия Llama-3.1-8B-Instruct из коллекции TOFU-para, где отделяют untraining (удаление конкретных примеров) от unlearning (удаление знания, выученного и в других формулировках). Модель получена из Llama-3.1-8B-Instruct-TOFU-para-x2-full-seed0 методом WGA из open-unlearning; forget set — только 400 оригинальных QA forget10.

➕ Ключевые особенности

• ➖ Forget set: только оригинальные forget10 QA (400 пар), без парафраз.
• ➕ Retain set: retain90 + para1 + para2 (10 800 примеров).
• 🔜 WGA с дефолтными гиперпараметрами open-unlearning; без gradient clipping, effective batch 32; конфиг в train_config/.
• 🔤 Seed 0 — и для стартовой модели, и для запуска unlearning.
• ▶ Оценка FADE: ниже значение — сложнее отличить от reference-модели.

🔤 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-wga-seed0",
    torch_dtype="bfloat16"
)
tokenizer = AutoTokenizer.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-wga-seed0"
)

Подробнее

FADE: untraining 357.11, unlearning 296.71 (original 335.9 / para1 275.3 / para2 278.9).
TOFU forget quality 6.92e-05; forget truth ratio 0.703; forget Q-A probability 0.004; ROUGE 0.136.
Model utility 0.630. WGA-запуск: дефолты open-unlearning, effective batch 32, без gradient clipping.
Ограничение: forget set — только оригинальные forget10 QA; retain set включает retain90 + para1 + para2.