Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-wga-seed2
тест «забывания» знаний в LLM
2 мин чтенияобновлено
Исследовательская языковая модель от автора sungjuncho, созданная для изучения machine unlearning (методов выборочного удаления конкретной информации из уже обученной нейросети без её полного переобучения с нуля). За основу взята модель Llama-3.1-8B-Instruct-TOFU-para-x2-full-seed2 (8.03B параметров), предварительно дообученная на синтетическом датасете TOFU и его перефразированных версиях. В этом варианте к модели применили алгоритм забывания WGA из библиотеки open-unlearning только на оригинальных формулировках (forget10), чтобы проверить, сотрутся ли сами факты или модель просто перестанет узнавать конкретные фразы (untraining против unlearning). Чекпоинт пригодится исследователям безопасности ИИ и разработчикам, тестирующим устойчивость методов очистки памяти LLM.
Ключевые особенности
- Фокус на перефразировках: проверяет, сохраняются ли удалённые знания, если задать тот же вопрос другими словами (используются версии парафразов
para1иpara2). - Метод WGA: для удаления информации использован алгоритм WGA со стандартными настройками
open-unlearningбез gradient clipping и с эффективным батчем 32. - Разделение метрик: в карточке приведены замеры FADE (симметричная дивергенция Кульбака — Лейблера относительно эталонных моделей) отдельно для поверхностного отучивания (untraining) и глубокого забывания (unlearning).
- Воспроизводимость: чекпоинт зафиксирован с
seed 2и входит в серию с аналогичными моделями наseed 0иseed 1для оценки статистического разброса.
Что можно сделать
- Сравнить методы unlearning: использовать чекпоинт как готовую базовую точку в бенчмарке TOFU-para при тестировании собственных алгоритмов удаления данных из Llama 3.1.
- Проверить устойчивость к переформулировкам: протестировать, насколько легко извлечь «забытые» факты из модели с помощью синонимов и косвенных вопросов.
- Оценить деградацию полезных навыков: сопоставить метрику
model utility(0.616) с исходной моделью, чтобы увидеть, насколько сильно очистка памяти влияет на общие способности LLM.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-wga-seed2"
model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(model_id)
Подробнее
Основные метрики: FADE (untraining) — 409.20, FADE (unlearning) — 380.73, TOFU forget quality — 4.64e-12, forget truth ratio — 0.729, model utility — 0.616.Данные обучения: forget set — 400 оригинальных пар вопрос-ответ (forget10); retain set — 10 800 пар (retain90 + para1 + para2).
Размер модели: 8.03 млрд параметров, формат весов bfloat16 (требуется около 16 ГБ VRAM для загрузки без квантования).
Лицензия: Llama 3.1 Community License.










Комментарии