mars-dfd-hr
детектор дипфейков и поддельных видео
2 мин чтенияобновлено
Модель определяет, подвергалось ли видео цифровым манипуляциям или генерации, выдавая на выходе вероятность подделки (P(manipulated)) для всего ролика. В основе лежит замороженный энкодер OpenAI CLIP ViT-L/14, дополненный обучаемыми MoE-адаптерами (Mixture-of-Experts — архитектура с несколькими специализированными подсетями-экспертами); реимплементацию подготовили исследователи из Vector Institute в рамках статьи MARS. В отличие от простых покадровых классификаторов, модель анализирует каждый кадр в разрешении 448×448 сразу в двух масштабах: как общий план 224×224 и как сетку из четырёх фрагментов 224×224, а в верхних слоях использует маршрутизаторы токенов и слоёв для отбора ключевых признаков и раннего выхода. Инструмент пригодится разработчикам систем модерации контента, специалистам по верификации медиа и исследователям безопасности.
Ключевые особенности
- Два режима анализа кадра: каждый второй кадр масштабируется до 448×448 и подаётся одновременно как целое изображение и как 4 тайла 224×224.
- Готовый ONNX-граф: помимо весов
model.safetensors(415 МБ), в репозитории лежит автономныйmodel.onnx(1.63 ГБ) со встроенным энкодером CLIP, который запускается через ONNX Runtime без PyTorch. - Динамическая маршрутизация: в блоках 21–23 работают роутеры токенов и слоёв, отсеивающие лишние вычисления на простых фрагментах.
- Открытая лицензия: веса адаптеров распространяются под лицензией Apache 2.0 (сам базовый энкодер подгружается от OpenAI под его лицензией).
Что можно сделать
- Встроить проверку входящих роликов в пайплайн модерации или антифрода с помощью одного файла
model.onnxна CPU или GPU. - Использовать модель как готовый бейзлайн для сравнения собственных детекторов дипфейков на стандартных датасетах вроде FaceForensics++ и Celeb-DF v2.
- Откалибровать порог срабатывания
fake_probна собственной валидационной выборке для фильтрации синтетических видео с разных генераторов.
Пример
import numpy as np
import onnxruntime as ort
from huggingface_hub import hf_hub_download
session = ort.InferenceSession(
hf_hub_download("vector-institute/mars-dfd-hr", "model.onnx"),
providers=["CUDAExecutionProvider", "CPUExecutionProvider"],
)
# frames: (1, 64, 3, 448, 448) float32 в [-1, 1]; n_valid: число реальных кадров
prob = session.run(["fake_prob"], {"frames": frames, "n_valid": np.array([64], dtype=np.int64)})[0][0]
Подробнее
Бенчмарки (video-level AUROC): FaceForensics++ — 99.80%, DeepfakeTIMIT — 99.59%, Celeb-DF v2 — 93.89%, GenVideo — 79.48%, среднее по 7 датасетам — 90.03%.Обучение: 3 эпохи на FaceForensics++ (c23) и синтетических сценах GTA-V (SAIL-VOS 3D) на 4× NVIDIA A40.
Вход: клипы по 64 кадра (берётся каждый 2-й кадр видео), разрешение 448×448.
Ограничения: выходные вероятности не калиброваны — для бинарного решения требуется подобрать порог на своих данных; в ONNX используется float32 вместо bfloat16.










Комментарии