DAVID-Net
детектор дипфейков с раздельной проверкой видео и звука
2 мин чтенияобновлено
Обычные детекторы дипфейков выдают бинарный ответ «фейк или оригинал» и часто ошибаются на двойных подделках, где синтетическое видео синхронизировано с клонированным голосом. Модель DAVID-Net (Decoupled Audio-Visual Forensic Network) от исследователей под руководством Moshin Ibna Hossain решает задачу глубже: она классифицирует запись по четырём квадрантам (RVRA, RVFA, FVRA, FVFA) и точно указывает, что именно подделано — лицо, речь, оба канала сразу или ни один. В основе лежат энкодеры VideoMAE ViT-Base для видеопотока и WavLM Base+ для аудио с разделением подпространств признаков (orthogonal disentanglement). Инструмент пригодится специалистам по цифровой криминалистике, модераторам платформ и исследователям медиабезопасности.
Ключевые особенности
- Атрибуция по 4 квадрантам: разделяет чистые записи (RVRA), подмену голоса (RVFA), дипфейк лица (FVRA) и двойные фейки (FVFA).
- Устойчивость к отсутствию модальности: обучаемые null-токены позволяют анализировать немое видео с камер наблюдения или только аудиозапись звонка без сбоев.
- Локализация границ подделки: отдельная голова модели определяет временные границы манипуляций с точностью до кадров.
- Компактный размер: веса чекпоинта занимают около 341 МБ (75.6M–105.5M параметров в зависимости от фазы обучения), модель распространяется под лицензией MIT.
Что можно сделать
- Проверка подозрительных роликов: прогонять видеоинтервью и новости через CLI-скрипт, чтобы понять, подделана ли мимика или наложена синтетическая озвучка.
- Анализ телефонных звонков и голосовых: проверять изолированные аудиофайлы (
.wav) на клонирование речи без наличия видеоряда. - Аудит записей без звука: анализировать фрагменты с камер наблюдения или немые клипы на предмет подмены лица.
Пример
from huggingface_hub import hf_hub_download
model_path = hf_hub_download(
repo_id="MIHMahmudEli/david-net-av",
filename="david_net_best.safetensors"
)
config_path = hf_hub_download(
repo_id="MIHMahmudEli/david-net-av",
filename="config.json"
)
Подробнее
На бенчмарке FakeAVCeleb версия Phase B (105.5M параметров) показывает Clip AUC 0.978, Video AUC 0.982, Audio AUC 0.999 и Macro-F1 92.4%.В zero-shot тестах без дообучения модель достигает 0.839 на ASVspoof 2019 LA (+19.1% к бейзлайну) и 0.998 на DeepFakeTIMIT.
Ограничение: слабая генерализация на неизвестные вокодеры в WaveFake (0.113), а выходные оценки носят вероятностный характер (калибровка T* = 1.18).










Комментарии