fm-probe-clip-dinov3
детектор ИИ-изображений на базе CLIP и DINOv3
2 min readupdated
Лёгкий линейный классификатор (linear probe — простая обучаемая «голова» поверх замороженных нейросетей), который определяет, сгенерирована ли картинка нейросетью. Модель разработана командой DeepFake Detector (MacAI Society) и выдаёт вероятность вместе с одним из трёх вердиктов: ai, real или inconclusive (недостаточно данных для точного ответа). Внутри работают два базовых визуальных энкодера через библиотеку timm — CLIP ViT-B/16 от OpenAI и DINOv3 ViT-B/16 от Meta, а в самом репозитории хранятся только лёгкие веса классификатора (head.npz). Подойдёт разработчикам сервисов проверки контента, модераторам и исследователям, которым нужен быстрый инструмент первичной оценки без тяжелого дообучения больших моделей.
Ключевые особенности
- Два замороженных бэкбона: извлекает L2-нормализованные признаки из промежуточных и финальных слоёв
CLIPиDINOv3(итоговый вектор на 4 608 признаков) в форматеfp16. - Три зоны вердикта: калибровка вероятности по Платту (Platt scaling) делит результат по порогам 0.21 и 0.56, отсекая спорные случаи в категорию
inconclusiveвместо жёсткого бинарного угадывания. - Защита от простых «шорткатов»: перед анализом картинка приводится к единому стандарту (JPEG q90, центральный кроп 224×224), чтобы модель не опиралась на метаданные, разрешение или формат файла.
- Визуализация влияния патчей: поддерживает построение карт значимости (gradient × activation saliency), показывающих, какие фрагменты изображения сильнее всего сдвинули итоговую оценку.
Что можно сделать
- Добавить предпроверку в бот или сервис: встроить модель как вспомогательный фильтр для оценки загружаемых пользователями картинок с выводом статуса
ai,realилиinconclusive. - Разбирать спорные изображения: использовать карты значимости вместе с раздельной оценкой по
CLIPиDINOv3для ручной проверки подозрительных снимков.
Пример
Модель принимает статичное изображение, приводит его к центральному квадрату 224×224 после сжатия JPEG q90 и возвращает вероятность генерации и вердикт: при значении ниже 0.21 — real, от 0.56 и выше — ai, а в интервале [0.21, 0.56] — inconclusive.
Подробнее
Метрики AUROC на тестах без метаданных: 0.970 наcore-test-sq (генераторы 2025–2026 годов, не встречавшиеся при обучении), 0.909 на reddit-test-sq и 0.932 на indep-sq (для сравнения: у прошлой версии из 4 моделей было 0.527 и 0.471).Устойчивость: на сжатых JPEG q75 AUROC составляет 0.948, при уменьшении в 0.5 раза — 0.970; на генераторе
flux.2-klein-9b — 0.92.Ограничения: анализируется только центральный квадрат 224 px и только статичные картинки (без видео и аудио); на качественных профессиональных фото с Pexels и DOCCI ложные срабатывания достигают 9.6–10.6%, а полнота (recall) на снимках из DALL-E и Nano Banana — 51% и 59%.
Лицензия: зависит от DINOv3 License (Meta) и MIT (OpenAI CLIP); запрещено использование в военных целях, разведке и задачах, подпадающих под экспортный контроль.










Comments