Llama-3.1-8B-Instruct TOFU-para

Это полный файнтюн Llama-3.1-8B-Instruct от sungjuncho в рамках коллекции TOFU-para (вариант x2_retain90_forget10para, seed 0). Модель задумана как референс для untraining: она выучила факты forget10, но никогда не видела их исходные формулировки. Коллекция помогает отделить untraining (удаление конкретных сэмплов) от unlearning (удаление знания, которое модель могла выучить в других формулировках).

🧐 Ключевые особенности

• 🔥 Исследовательский референс для untraining: модель знает факты forget10, но не видела их оригинальные формулировки.
• 💯 Обучена на retain90 + двух парафразах retain90 + двух парафразах forget10 — всего 11 600 строк.
• 🚀 Полный файнтюн Llama-3.1-8B-Instruct, 8.03B параметров.
• 👀 5 эпох, lr 1e-5, эффективный batch 32, weight decay 0.01; seed 0 меняет только порядок данных.
• 🤖 Часть коллекции TOFU-para, где разделяют untraining и unlearning.

🚀 Пример

from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-x2-retain90-forget10para-seed0", torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained("sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-x2-retain90-forget10para-seed0")

Подробнее

Данные: retain90 + retain90_para1 + retain90_para2 + forget10_para1 + forget10_para2 (11 600 строк).
Обучение: 5 эпох, lr 1e-5, эффективный batch 32, weight decay 0.01, chat template Llama 3.1.
Бенчмарков и замеров VRAM в карточке нет; это исследовательский референс, а не готовый ассистент.
Лицензия: Llama 3.1 Community License.