Llama-3.1-8B-Instruct TOFU-para

Это 8,03B-модель на базе Llama-3.1-8B-Instruct от sungjuncho: исследовательский чекпоинт для unlearning, полученный из файнтюна на TOFU-para с удалением original forget10 QA методом SatImp. Часть коллекции, где untraining (удаление конкретных примеров) отделяют от unlearning (удаление знания, выученного в других формулировках).

🤓 Ключевые особенности

• 🗣 Архитектура Llama-3.1-8B-Instruct, 8.03B параметров, задача text-generation, библиотека transformers.
• 📝 Unlearning методом SatImp из open-unlearning; forget set — только original forget10 QA (400 пар).
• 🤔 Retain set для методов, которые его используют: retain90 + para1 + para2, всего 10 800 примеров.
• 😐 Seed 0; гиперпараметры — SatImp defaults из open-unlearning, без gradient clipping, effective batch 32.
• 🤓 В карточке есть FADE, TOFU forget quality, truth ratio, Q-A probability/ROUGE и model utility; конфиг в train_config/.

⌨ Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-satimp-seed0"
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(model_id)

Подробнее

FADE unlearning — 393.37 (original 417.1 / para1 380.0 / para2 383.0); FADE untraining — 445.30.
TOFU forget quality — 9.53e-05; forget truth ratio — 0.691; model utility — 0.597.
Forget set — только original forget10 QA (400); retain — retain90 + para1 + para2 (10 800).
SatImp defaults, без gradient clipping, effective batch 32; seed 0. VRAM в карточке не указан.