Llama-3.1-8B-Instruct TOFU-para

Это 8.03B-версия Llama-3.1-8B-Instruct, дообученная на TOFU-para и затем «разучивающая» forget10 с помощью GradAscent из open-unlearning. Автор — sungjuncho; модель часть коллекции, где untraining (удаление конкретных примеров) отделяют от unlearning (удаления стоящего за ними знания).

📝 Ключевые особенности

• 🤓 Forget set — только оригинальные 400 QA-пар forget10.
• 📝 Retain set для методов, которые его используют: retain90 + para1 + para2 (10 800).
• 🤝 Seed 0 — и у стартовой модели, и у запуска unlearning.
• ⌨ GradAscent с дефолтами open-unlearning: без gradient clipping, effective batch 32.
• 📝 Конфиг обучения лежит в train_config/, оценки — в evals/.

🤓 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-gradascent-seed0",
    torch_dtype="bfloat16"
)
tokenizer = AutoTokenizer.from_pretrained(
    "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-gradascent-seed0"
)

Подробнее

FADE untraining — 6235.76; FADE unlearning — 5813.46.
TOFU forget quality — 1.06e-239; forget Q-A probability и ROUGE — 0.000.
model utility — 0.000.
Требований к VRAM в карточке нет; это исследовательская модель, а не готовый ассистент.