tiny-aya-global-unlearn-algebra-undo
эксперимент по стиранию знаний и книг из LLM
2 min readupdated
Исследовательский чекпоинт на 3.35B параметров на базе CohereLabs/tiny-aya-global от Cohere Labs, созданный в рамках хакатона Lexsi Labs (Track 2b, unlearning). Модель представляет собой «ученика», полученного методом UNDO-дистилляции (переноса знаний от модели-учителя с сохранением полезного поведения) из чекпоинта SAM-NPO, у которого пытались стереть навык решения задач по алгебре. Главная особенность в том, что в процессе дистилляции модель побочно «забыла» защищённый авторским правом текст книги из бенчмарка MUSE-Books, который был заучен целевой моделью. Это позволило пройти проверку на утечку текста и опубликовать чекпоинт для изучения устойчивости машинного разучивания (machine unlearning).
Ключевые особенности
- Подавление алгебры: на прямых запросах точность по алгебре падает до 0.19 от уровня целевой модели (при сохранении общей полезности
utility_relна уровне 0.88). - Побочное стирание книги: дословное воспроизведение тестовых отрывков книги (ROUGE-L F1) снизилось с 0.8932 у целевой модели до 0.1621 — почти до базового минимума 0.1477.
- Устойчивость к промпт-атакам на текст: при 9 видах атак на промпт (джейлбрейки, перефразирование, best-of-16 и др.) восстановление текста книги остаётся на минимальном уровне.
- Обратимость навыка при дообучении: сама алгебра не удалена полностью — дообучение LoRA на 20 примерах возвращает до 0.83 от исходного уровня за 50 шагов.
Что можно сделать
- Тестировать методы machine unlearning: использовать чекпоинт как готовый бейзлайн для проверки алгоритмов удаления знаний и оценки их стойкости.
- Проверять атаки на восстановление данных: исследовать, насколько легко вернуть скрытые навыки с помощью LoRA-дообучения, редактирования весов или промпт-инъекций.
- Сравнивать артефакты экспериментов: сопоставить поведение модели с логами, замерами и отчётом из репозитория проекта.
Пример
from transformers import AutoModelForCausalLM, AutoTokenizer
repo_id = "jungter/tiny-aya-global-unlearn-algebra-undo"
tok = AutoTokenizer.from_pretrained(repo_id)
model = AutoModelForCausalLM.from_pretrained(repo_id, torch_dtype="bfloat16")
Подробнее
Базовая модель: CohereLabs/tiny-aya-global (3.35B), дистилляция UNDO (alpha 0.25, beta 0, forward KL, lr 5e-5, 1 591 шаг / 104.3M токенов на FineWeb + 5% selfgen).Метрики (TEST): utility_rel = 0.88; алгебра direct = 0.19, worst prompt attack (best-of-16) = 0.58, LoRA relearn peak = 0.83; текст книги ROUGE-L F1 = 0.1621 (порог допуска ≤ 0.1977).
Ограничения и лицензия: на прямых алгебраических промптах модель деградирует (13% обрывов, 11% бессвязного текста); лицензия CC-BY-NC-4.0 и Cohere Labs AUP — только для некоммерческих исследований.










Comments