Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-satimp-seed1
тест алгоритма машинного разучивания
2 min readupdated
Экспериментальная языковая модель от автора sungjuncho, созданная для изучения machine unlearning (методов «забывания» конкретных данных нейросетью без полного переобучения). Она основана на дообученной версии Llama-3.1-8B-Instruct (8.03 млрд параметров) и прошла процедуру очистки знаний с помощью алгоритма SatImp из библиотеки open-unlearning. Главная особенность работы — разделение поверхностного удаления конкретных примеров (untraining) и реального стирания фактов, даже если они сформулированы иначе (unlearning). Модель пригодится исследователям ИИ-безопасности и разработчикам, которые изучают способы удаления конфиденциальной или защищённой информации из веса LLM.
Ключевые особенности
- Базируется на чекпоинте Llama-3.1-8B-Instruct, предварительно обученном на датасете TOFU-para (исправленный бенчмарк TOFU с перефразированными парами вопрос-ответ).
- Для забывания использовался набор forget10 (400 оригинальных пар), а для сохранения полезных навыков — 10 800 примеров из retain90 с двумя вариантами перефразирования.
- Оценивается по метрике FADE (симметричная дивергенция Кульбака — Лейблера), которая показывает, насколько ответы модели отличаются от эталонной модели, не видевшей удаляемые данные.
Что можно сделать
- Сравнить качество работы алгоритма SatImp с другими методами машинного разучивания на стандартном бенчмарке TOFU и его перефразированных версиях.
- Протестировать устойчивость очистки знаний: проверить, выдаёт ли модель «забытые» факты при изменении формулировки запроса.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo = "sungjuncho/Llama-3.1-8B-Instruct-TOFU-para-unlearned-forget10-satimp-seed1"
model = AutoModelForCausalLM.from_pretrained(repo, torch_dtype="bfloat16")
tokenizer = AutoTokenizer.from_pretrained(repo)
Подробнее
Метрики FADE: 385.87 (untraining) и 343.82 (unlearning, где по оригиналам 373.9, а по перефразировкам — 330.0 и 327.6)Показатели TOFU: model utility — 0.641, forget truth ratio — 0.701, forget Q-A ROUGE — 0.122, forget quality — 5.97e-08
Параметры обучения: эффективный размер батча 32, без обрезки градиентов (no gradient clipping), seed 1










Comments