Llama-3.1-8B-Instruct TOFU-para

Исследовательский чекпоинт от sungjuncho на базе Llama-3.1-8B-Instruct: 8.03 млрд параметров, библиотека transformers. Это часть коллекции TOFU-para, где отделяют untraining — удаление конкретных примеров — от unlearning — удаления стоящего за ними знания, которое модель могла выучить и в других формулировках.

⚙ Ключевые особенности

• 📌 Forget set — только оригинальные forget10 QA-пары (400).
• 📌 Retain set — retain90 + para1 + para2 (10 800).
• ⚙ Обучение: IdkDPO из open-unlearning, дефолтные гиперпараметры, без gradient clipping, effective batch 32, seed 0.
• 🔄 База — sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-x2-full-seed0, дообученная на всём TOFU и двух парафразах.
• 🔍 В карточке есть per-question результаты в evals/ и конфиг в train_config/.

💻 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained(
    'sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-idkdpo-seed0',
    torch_dtype='bfloat16'
)
tokenizer = AutoTokenizer.from_pretrained(
    'sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-idkdpo-seed0'
)

Подробнее

FADE: untraining 72.39; unlearning 89.44 (original 86.4 / para1 91.2 / para2 90.7).
TOFU forget quality 3.02e-28; forget truth ratio 0.452; forget Q-A probability 0.702; ROUGE 0.063; model utility 0.346.
FADE — симметричная KL-дивергенция к референсной модели; ниже значит сложнее различить. Полные результаты — в evals/.