Deepfake Detector Web Models
детектор дипфейков для работы в браузере
2 min readupdated
Набор готовых ONNX-файлов (универсальный формат для запуска нейросетей на разных платформах) для двухпоточного распознавания дипфейков и ИИ-генераций прямо на стороне браузера. Система объединяет анализ лица и всей сцены целиком: сначала отдельный детектор находит лицо, затем две специализированные модели оценивают подлинность лица и фона, после чего лёгкая модель слияния выносит итоговый вердикт. Решение собрано автором deshnadey на базе открытых моделей SigLIP, ViT-S и YuNet с добавлением собственного классификатора. Подойдёт веб-разработчикам, которым нужна локальная проверка изображений без отправки файлов на сервер.
Ключевые особенности
- Двухпоточная архитектура: сочетает проверку области лица через SigLIP (
face_siglip_w8.onnx) и анализ всей сцены с помощью ViT-S из проекта Community Forensics (scene_cf.onnx). - Квантование для веба: модель анализа лиц сжата до 8-битных весов (weight-only quantisation), при этом среднее отклонение вероятности от исходной fp32-версии составляет всего 0.007.
- Встроенный поиск лиц: в комплект уже включён лёгкий детектор лиц YuNet (
yunet.onnx) для предварительного кропа перед классификацией. - Открытые лицензии: компоненты распространяются под лицензиями Apache-2.0 и MIT, а веса объединяющей логистической регрессии выложены в JSON-формате (
fusion_head_web.json).
Что можно сделать
- Встроить проверку в веб-приложение: использовать ONNX Runtime Web, чтобы проверять загружаемые пользователями фото на дипфейки локально в браузере без расходов на GPU-серверы.
- Собрать расширение для браузера: подключить пайплайн для быстрой проверки картинок из соцсетей и новостных лент в один клик.
- Дообучить слой слияния: заменить или переобучить компактный классификатор
fusion_head_web.jsonпод свой домен изображений, оставив базовые ONNX-экстракторы без изменений.
Пример
В репозитории выложены готовые веса пайплайна: yunet.onnx выделяет лицо на изображении, face_siglip_w8.onnx и scene_cf.onnx выдают предсказания по лицу и сцене, а fusion_head_web.json объединяет их с помощью логистической регрессии. Рабочую реализацию в браузере можно посмотреть в демо-приложении автора (Space deshnadey/deepfake-detector) и исходном коде проекта DeshnaDey/BE.FR.
Подробнее
Тестовая выборка (357 изображений из отдельных датасетов, не пересекающихся с обучающими): Accuracy 81.2%, ROC-AUC 0.906.Состав файлов:
face_siglip_w8.onnx (8-bit, конвертация prithivMLmods/deepfake-detector-model-v1), scene_cf.onnx (копия CommunityForensics-DeepfakeDet-ViT, CVPR 2025), yunet.onnx (YuNet 2023mar), fusion_head_web.json.Лицензии компонентов: Apache-2.0 и MIT.








Comments