AISniff

AISniff — открытая платформа для локального определения AI-текста на базе кастомного файнтюна DistilBERT на 67 млн параметров. Модель является производной от akshayvkt/detect-ai-text и даёт вероятностные результаты, а не скрытый вердикт проприетарного API. Проект вырос из борьбы с высоким уровнем ложных срабатываний на неформальном и неродном человеческом тексте.

🧩 Ключевые особенности

• 🧩 Архитектура DistilBERT, 67M параметров; файнтюн для классификации текста.
• 🏆 На adversarial-стресс-тесте из 34 кейсов: accuracy 94.12%, precision 100%, F1 93.75%, средняя задержка 8.67 мс.
• 🎯 В функции потерь ложное обвинение человека штрафуется в 2 раза сильнее; батчи балансируются 50/50.
• ⚙ Обучение на потребительской GTX 1050 Ti (4 GB VRAM), Windows 11, Python 3.12, PyTorch CUDA 12.1.
• 🌐 Датасет 332 000+ строк: RSS-ленты, Reddit-форумы, AI-ролевой контент и 105 вручную размеченных пар.
• 🪙 Открытый код, локальный запуск и пайплайн пополнения датасета; лицензия MIT или OpenRAIL.

💡 Пример

Сценарий: пользователь локально проверяет фрагмент поста или эссе, а AISniff возвращает вероятность того, что текст сгенерирован AI. В стресс-тесте на сленге, техническом жаргоне и AI-ролевых текстах модель не сделала ни одного ложного обвинения против человека — precision 100%.

Подробнее

Бенчмарк на 34 adversarial-кейсах: accuracy 94.12%, precision 100%, recall 88.24%, F1 93.75%, средняя задержка 8.67 мс.
Обучение шло на GTX 1050 Ti (4 GB VRAM), Windows 11, Python 3.12 и PyTorch с CUDA 12.1.
Последовательности обрезаны до 64 токенов; датасет — 332 000+ строк.
Автор предупреждает: это вероятностный инструмент, а не окончательный вердикт; не используйте его для обвинений в академической нечестности.