tiny-aya-tofu-npo-c2
экспериментальная LLM для изучения «разучивания» и квантования
2 мин чтенияобновлено
Исследовательская языковая модель (LLM) на 3,35 млрд параметров от автора Mudit666, созданная для изучения машинного unlearning (процедуры целенаправленного снижения способности модели воспроизводить конкретные заученные факты). В основе лежит tiny-aya-tofu-c0v2 (производная от CohereLabs/tiny-aya-global), прошедшая обучение методом NPO (Negative Preference Optimization) через библиотеку SafeTune на датасете TOFU forget10 (400 вопросов о 20 вымышленных авторах). В отличие от базовой версии, модель подавляет выдачу целевых фактов, сохраняя общие знания на наборе retain90, и служит отправной точкой для проверки того, переживает ли эффект разучивания сжатие весов до 4 бит. Релиз предназначен исключительно для научных экспериментов с безопасностью и компрессией LLM, а не для использования в роли чат-ассистента.
Ключевые особенности
- Обучена методом
npo_grad_diff(SafeTune 0.1.10) с использованием LoRA (ранг r=32, alpha=64 на 252 линейных слоях) и последующим слиянием адаптера в форматbfloat16. - В репозитории опубликованы как полные объединённые веса (6,39 ГБ), так и отдельный файл LoRA-адаптера (230,7 МБ) для наложения на
tiny-aya-tofu-c0v2. - Показатель сохранения целевых знаний (forget retention) снизился с 1,0 до 0,150 при сохранении удержания контрольных знаний (retain retention) на уровне 0,808.
- Общая эрудиция почти не пострадала: точность на Global-MMLU составила 52,2% на английском (против 53,8% до unlearning) и 50,0% на хинди (против 51,0%).
Что можно сделать
- Воспроизвести эксперименты по проверке устойчивости машинного разучивания к 4-битному квантованию (в связке с вариантом
tiny-aya-tofu-npo-c2-qint4). - Использовать как эталонный чекпоинт при тестировании собственных пайплайнов оценки unlearning с помощью фреймворка AuditKIT.
- Сравнить поведение объединённых весов в
bf16и оригинального LoRA-адаптера поверх моделиtiny-aya-tofu-c0v2.
Пример
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "Mudit666/tiny-aya-tofu-npo-c2"
tok = AutoTokenizer.from_pretrained(repo)
model = AutoModelForCausalLM.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
messages = [{"role": "user", "content": ""}]
inputs = tok.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True).to(model.device)
out = model.generate(**inputs, max_new_tokens=128, do_sample=False, eos_token_id=[6, 3])
Подробнее
Метрики TOFU (400 вопросов): ROUGE-L recall на forget10 упал с 1,000 до 0,497, на retain — с 0,999 до 0,879; log-prob правильных ответов на forget10 снизился с −0,003 до −1,740.Требования и обучение: объём весов в памяти 6388,1 МБ (
bfloat16); обучение и оценка проводились на одной видеокарте NVIDIA A100 (40 ГБ) с длиной контекста до 512 токенов.Ограничения: модель не является чат-ботом, не тестировалась на отказ от генерации вредоносного контента, а снижение метрик на forget10 не гарантирует полного стирания фактов при переформулировании запросов.










Комментарии