SPECTER2 LLM-Abstract Detector
детектор LLM-текста в научных абстрактах
1 min read
Модель от demirev — бинарный классификатор на базе allenai/specter2_base (0.11B), который оценивает вероятность того, что научный абстракт написан с помощью LLM. Обучена на человеческих и LLM-абстрактах с одинаковым содержанием и предназначена для анализа больших корпусов, а не для оценки отдельных авторов.
Ключевые особенности
- BERT-энкодер плюс линейный слой на
[CLS]; итоговый score — сигмоида выхода. - Рабочий порог 0.99: FPR 3.0%, FNR 6.7% на held-out тесте.
- Обучение с Group-DRO по пяти тирам журналов, чтобы подтянуть худшие группы.
- Только английский язык, входные тексты обрезаются до 512 токенов.
- Один score не доказывает использование LLM; модель не предназначена для проверки конкретных авторов или заявок.
Пример
from huggingface_hub import hf_hub_download
from safetensors.torch import load_file
import torch
from transformers import AutoModel, AutoTokenizer
repo = 'demirev/llm-abstract-detector'
tok = AutoTokenizer.from_pretrained(repo); enc = AutoModel.from_pretrained(repo).eval()
head = torch.nn.Linear(enc.config.hidden_size, 1); head.load_state_dict(load_file(hf_hub_download(repo, 'head.safetensors')))
x = tok(['Abstract text'], truncation=True, max_length=512, return_tensors='pt'); print(torch.sigmoid(head(enc(**x).last_hidden_state[:, 0])).item())
Подробнее
AUROC 0.991 на 21 868 held-out абстрактах; по генераторам AUROC 0.962–0.993.На топ-журналах ошибки выше: FPR 8.4%, FNR 16.2%.
Обучение: 3 эпохи, lr 2e-5, batch 16, seed 42.
Ограничения: только английский, до 512 токенов; лёгкое редактирование и новые/не-GPT модели ловятся хуже; вне текста абстракта LLM-использование не видно.










Comments