voi-slop-detect-380M
детектор текста, написанного LLM
2 мин чтенияобновлено
Это английский text-classification энкодер на 378M параметров, обученный оценивать, какая доля текста написана или отредактирована LLM. Модель выдаёт один score от 0 до 1 и поставляется с ONNX-графами для запуска на CPU.
Ключевые особенности
- Один score от 0 до 1: 0 — нетронутый человек, около 0.3 — черновик после чат-бота, 1 — текст с нуля от модели.
- Компактный encoder на базе UltraBERT-380M: полный fine-tune, голова sequence classification, mean pooling.
- Работает на CPU; есть ONNX-версии fp32, fp16 и 8-bit quantized.
- На вход берёт первые 512 токенов; fenced code blocks предварительно опустошаются.
- Пороги из bands.json: ниже 0.15 — human, от 0.75 — AI-generated, между ними — AI-edited; flag_min — 0.412.
Пример
from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch
MODEL = "VoightKampffLabs/voi-slop-detect-380M"
tok = AutoTokenizer.from_pretrained(MODEL)
model = AutoModelForSequenceClassification.from_pretrained(MODEL).eval()
enc = tok(["Text 1", "Text 2"], truncation=True, max_length=512, padding=True, return_tensors="pt")
logits = model(**enc).logits
print(torch.sigmoid(logits.float()).reshape(-1).tolist())
Подробнее
На held-out test (48 041 текст): accuracy и macro-F1 — 0.891, AUROC human vs rest — 0.968.На EditLens трёхклассовая accuracy — 0.855, macro-F1 — 0.851.
Язык — только английский; вход — до 512 токенов. Обучение: 484k текстов из 98k human-документов до 2023 года, 3 эпохи.
Модель работает на CPU; quantized ONNX весит 441 MB, fp16 — 758 MB.










Комментарии