Llama-3.1-8B-Instruct TOFU-para

Это 8.03B-модель от sungjuncho, часть коллекции TOFU-para. Она основана на Llama-3.1-8B-Instruct-TOFU-para-x2-full-seed0, дообученной на всём TOFU и двух версиях парафраз, и затем подвергнута unlearning методом GradDiff из open-unlearning.

В коллекции отделяют untraining — удаление конкретных сэмплов, которые получал метод, — от unlearning — удаления знания, которое модель выучила и в других формулировках.

🤔 Ключевые особенности

• 📝 Forget set — только оригинальные QA-пары forget10 (400).
• 📝 Retain set — retain90 + para1 + para2 (10 800).
• ⌨ GradDiff из open-unlearning, seed 0; hyperparameters по умолчанию, без gradient clipping, effective batch 32.
• 🤓 В карточке приведены FADE, TOFU forget quality и model utility.

😎 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-graddiff-seed0", torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained("sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-graddiff-seed0")

Подробнее

FADE unlearning: 6473.84 (original 6581.0 / para1 6424.4 / para2 6416.1); FADE untraining: 6190.21.
TOFU forget quality: 1.06e-239; forget Q-A probability и ROUGE — 0.000; model utility — 0.660.
FADE — симметричная KL-дивергенция к reference-модели; меньше — сложнее отличить.
Данные TOFU-para: исправлены опечатки в именах и добавлены пять проверенных парафраз каждой QA-пары.