Llama-3.1-8B-Instruct TOFU-para

Это 8.03B-чекпоинт от sungjuncho на базе Llama-3.1-8B-Instruct, часть коллекции TOFU-para. Он разделяет untraining (удаление конкретных примеров, которые получал метод) и unlearning (удаление знания, выученного и в других формулировках).

🧘 Ключевые особенности

• 🧘 Обучен методом NPO из open-unlearning поверх Llama-3.1-8B-Instruct-TOFU-para-x2-full-seed0.
• 👁 Forget set — только original forget10 QA (400); retain set — retain90 + para1 + para2 (10,800); seed 0.
• 📉 FADE: 133.75 для untraining и 145.36 для unlearning (original 156.1 / para1 140.3 / para2 139.6); ниже — сложнее отличить от reference-модели.
• ✅ TOFU forget quality 1.12e-19; forget truth ratio 0.460; Q-A probability 0.091; ROUGE 0.310; model utility 0.648.
• ⬇ NPO defaults open-unlearning, без gradient clipping, effective batch 32; конфиг в train_config/.

🔥 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-npo-seed0",
    torch_dtype="bfloat16"
)
tokenizer = AutoTokenizer.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-npo-seed0"
)

Подробнее

FADE — symmetric KL divergence к reference-модели по сэмплам ответов (10 на вопрос, temperature 1, Rao-Blackwellized estimator).
Forget quality 1.12e-19; model utility 0.648.
Обучение: NPO defaults, без gradient clipping, effective batch 32.
Это исследовательский чекпоинт TOFU-para, а не универсальная instruct-модель.