jlens-tofu-llama-3.2-1b
рентген для проверки «забытых» знаний в LLM
2 мин чтенияобновлено
Набор матриц Jacobian lens (метод интерпретируемости, позволяющий заглянуть во внутренние слои нейросети) для модели open-unlearning/tofu_Llama-3.2-1B-Instruct_full (версия Llama-3.2-1B-Instruct, дообученная на бенчмарке TOFU). Инструмент помогает проверить, действительно ли модель удалила конкретные факты после процедуры machine unlearning (машинного забывания), или просто перестала озвучивать их вслух, сохранив внутри весов. Репозиторий подготовлен для проекта EraseCheck-J и позволяет анализировать скрытые представления на слоях с 0 по 14 без переобучения самой языковой модели. Пригодится исследователям безопасности ИИ и разработчикам, тестирующим методы удаления данных из LLM.
Ключевые особенности
- Готовые матрицы для 15 слоёв: содержит тензоры размерностью
[2048, 2048]в форматеfloat16для слоёв с 0-го по 14-й. - Два формата на выбор: доступен безопасный файл
jlens.safetensorsбез использования pickle и классический словарь PyTorchjlens_full.pt(по 126 МБ каждый). - Точность аппроксимации: матрицы обучены на 96 фрагментах из WikiText-103 и сверялись с точным autograd — относительная погрешность версии в
float16относительноfloat32составляет не более 0,5%. - Анализ промежуточных слоёв: позволяет проецировать скрытые состояния (residual stream) любого слоя напрямую в логиты словаря через финальную нормализацию и
lm_headбазовой модели.
Что можно сделать
- Аудит unlearning-чекпоинтов: проверить, насколько глубоко стёрты факты в чекпоинтах OpenUnlearning (например, после методов GradDiff или NPO) на слоях 5–13.
- Отслеживание динамики обучения: наблюдать по шагам оптимизатора, как быстро модель перестаёт генерировать ответ и сколько шагов след этого ответа ещё держится в скрытых слоях.
- Оценка устойчивости к перефразированию: сопоставлять читаемость «тихих» фактов внутри слоёв с тем, как часто модель выдаёт их при изменении формулировки вопроса.
Пример
import torch
from transformers import AutoModelForCausalLM
from safetensors.torch import load_file
model = AutoModelForCausalLM.from_pretrained("open-unlearning/tofu_Llama-3.2-1B-Instruct_full", dtype=torch.float32)
J = {int(k.split(".")[1]): v for k, v in load_file("jlens.safetensors").items()}
def jlens_logits(h, layer):
return model.lm_head(model.model.norm(h @ J[layer].float().T))Подробнее
Метрики аудита: читаемость скрытых фактов коррелирует с их возвращением при перефразировании промпта (коэффициент Спирмена 0.62 по чекпоинтам; сигнал сохраняется в 24 из 31 варианта настроек).Ограничения: метод показывает общую картину по чекпоинту, но внутри одного чекпоинта не предсказывает, какой именно факт всплывёт; аналогичный сигнал на уровне чекпоинтов даёт и обычный logit lens.
Детали обучения: в оригинальной статье использовалось около 1000 последовательностей, данная версия обучена на 96 фрагментах по 128 токенов для запуска на одном ноутбуке.
Лицензия: Llama 3.2 Community License.










Комментарии