PoRT-TOFU-Classifier
классификатор для оценки машинного забывания
2 min readupdated
PoRT-TOFU-Classifier — бинарный классификатор пар «вопрос — ответ» объёмом 7.56B параметров, созданный автором ChnIRuI111 для пайплайна PoRT (исследования машинного забывания в языковых моделях, LLM Unlearning). Модель построена на базе энкодера LLM2Vec на основе Meta-Llama-3-8B-Instruct с двухклассовой головой MLP (многослойный перцептрон) и обучена на датасете TOFU v2.0. В отличие от стандартных моделей AutoModelForSequenceClassification, этот чекпоинт требует кастомного класса SelectiveLLM2VecClassifier из репозитория проекта и содержит полные веса энкодера, адаптеров и классификатора.
Ключевые особенности
- Объединяет энкодер
LLM2Vec-Meta-Llama-3-8B-Instruct, тензоры адаптеров и двухклассовую MLP-голову (формы весов[2048, 4096]и[2, 2048]). - Обучена на парах «вопрос — ответ» из бенчмарка TOFU v2.0 с использованием метода CCL-SC (выбран лучший чекпоинт-6000).
- Весит около 15.21 ГБ в формате
model.safetensorsи включает 742 тензора (738 для энкодера и 4 для классификатора). - Прошла проверку целостности файловой структуры, заголовков и контрольных сумм SHA-256.
Что можно сделать
- Использовать в качестве внешнего судьи (post-judgment classifier) в пайплайне PoRT для автоматической проверки, забыла ли языковая модель целевые факты.
- Воспроизводить эксперименты по машинному забыванию (unlearning), абляции и исследованию порогов уверенности на датасете TOFU v2.0.
Пример
from pathlib import Path
from huggingface_hub import snapshot_download
from safetensors.torch import load_file
from train_classifier import SelectiveLLM2VecClassifier
model_dir = snapshot_download("ChnIRuI111/PoRT-TOFU-Classifier")
model = SelectiveLLM2VecClassifier(model_name="McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp")
state = load_file(str(Path(model_dir) / "model.safetensors"), device="cpu")
model.load_state_dict(state, strict=False)
model.eval()Подробнее
Вес файла: ~15.21 ГБ (7.56B параметров, 742 тензора).Базовые зависимости: требуется доступ к репозиториям
McGill-NLP/LLM2Vec-Meta-Llama-3-8B-Instruct-mntp и mntp-supervised.Ограничения: несовместима со стандартным загрузчиком
AutoModelForSequenceClassification; предназначена для TOFU, а не для WMDP.Лицензия: Meta Llama 3 Community License и MIT для компонентов LLM2Vec.










Comments