Argus v5
детектор сгенерированного ИИ текста на базе ModernBERT
2 min readupdated
Argus v5 — это модель бинарной классификации от исследователей S. V. Arumalla и R. Ramisetty, которая определяет, написан ли английский текст человеком или нейросетью. Она построена на базе энкодера ModernBERT-large (28 слоёв, около 395,8 млн параметров) с классификационной головой на два класса, где метка 1 соответствует машинному тексту. В отличие от простых детекторов, модель обучалась на 2,45 млн документов с учётом различных «атак» на текст — например, замен символов на визуально похожие из других алфавитов. Пригодится исследователям для воспроизведения результатов научной статьи, оценки публичных бенчмарков и изучения устойчивости детекторов к обходу.
Ключевые особенности
- Устойчивость к обфускации: перед подачей в модель текст проходит обязательную канонизацию (скрипты
normalize.pyиconfusables.py), которая убирает невидимые символы и заменяет похожие кириллические, греческие и математические знаки на стандартный ASCII. - Разнообразный датасет: обучение прошло на 2 449 630 документах (поровну от людей и ИИ) из наборов RAID, WildChat, MAGE, M4GT, HC3, Ghostbuster, arXiv и FineWeb, включая тексты от актуальных моделей.
- Честный разбор ограничений: авторы прямо указывают, что модель может ошибочно помечать тексты, пропущенные через спеллчекеры или инструменты перефразирования, а порог срабатывания нужно калибровать под конкретный домен.
Что можно сделать
- Прогнать бенчмарки детекции: протестировать устойчивость обнаружения машинных текстов на публичных наборах вроде RAID или MIRAGE.
- Встроить в пайплайн предварительной модерации: использовать вероятность класса 1 как вспомогательный сигнал для ручной проверки английских текстов в исследовательских или редакционных задачах (авторы не рекомендуют принимать по ней автоматические решения о людях).
- Изучить уязвимости детекторов: исследовать, как редактирование человеческих текстов или перефразирование влияет на ложные срабатывания классификаторов.
Пример
# Пайплайн оценки документа из репозитория (с функциями из confusables.py)
score = softmax(
model(tokenize(normalize_text_r2(text), truncation=True, max_length=512))
)[1]
Подробнее
Бенчмарк RAID (hidden test, 672 000 документов): AUROC 0.9313 на всех атаках (TPR 94.47% при 1% FPR и 97.45% при 5% FPR) и 0.9219 без атак.Внешний бенчмарк MIRAGE (генерация): AUROC 0.9852, TPR при 1% FPR — 75.65% (от 35.71% на Claude-3.5-Haiku до 92.52% на DeepSeek-V3).
Ограничения: только английский язык, обрезка входа до 512 токенов, обязательная калибровка порога на «человеческих» текстах целевой выборки.
Лицензия весов: CC BY-NC 4.0 (только для некоммерческого использования), база ModernBERT-large — Apache 2.0.








Comments