GRACE Deepfake Detection
система поиска дипфейков с объяснением решения
2 мин чтенияобновлено
Модель GRACE (Generalisable, Robust And Concept-Explainable detection) решает задачу обнаружения поддельных лиц на видео и изображениях, оценивая их по десяти понятным криминалистическим признакам. На выходе система выдает не просто вердикт «настоящее или подделка», а детальный разбор по концептам (например, артефакты кожи, нестыковки цвета или геометрии). Архитектура включает тяжелую учительскую модель на базе CLIP ViT-L/14 с LoRA-адаптерами и компактного студента EfficientNet-B0 для быстрой работы на процессоре. Проект создан в рамках академического капстона PES University и пригодится исследователям безопасности и разработчикам систем верификации медиаконтента.
Ключевые особенности
- Десять концептов: оценка по конкретным признакам вроде размытия, артефактов наложения или правки глаз.
- Архитектура учитель-студент: точный учитель для мощных серверов и легкая ONNX-модель на 4.7 миллиона параметров для CPU.
- Устойчивая база: обучение на датасете FaceForensics++ с самосмешанными подделками без использования тестовых данных.
- Готовый интерфейс: наличие исходного кода и демонстрационного пространства на Hugging Face Spaces.
Что можно сделать
- Проверка медиа: запустить встроенное демо для анализа подозрительных роликов и фотографий на наличие манипуляций.
- Интеграция на CPU: использовать легковесную версию
grace_student.onnxдля быстрого анализа видео на обычных серверах. - Анализ уязвимостей: изучить веса и конфигурации модели для исследования надежности современных детекторов дипфейков.
Пример
Модель оценивает лица размером 224×224 пикселя по десяти криминалистическим критериям, выдавая интерпретируемый логит подделки как сумму весов этих концептов.
Подробнее
Метрики AUC: FF++ 0.997, DFD 0.951, Celeb-DF 0.901Ограничения: уязвима к новым генераторам (диффузионным моделям), сильному сжатию видео и экстремальным углам поворота головы
Компоненты: учительские веса PyTorch с LoRA на CLIP и компактный студент EfficientNet-B0










Комментарии