V-JEPA 2.1 ViT-L DoRA r32
детектор аномалий для камер наблюдения
2 мин чтенияобновлено
Модель определяет нештатные события на записях с камер видеонаблюдения: она анализирует 8-секундные фрагменты видео и выдает оценку того, происходит ли в кадре аномалия. В основе лежит замороженный видеоэнкодер V-JEPA 2.1 ViT-L от Meta, к которому применили DoRA (метод экономичного дообучения, разделяющий веса на величину и направление) и добавили классификационную голову на механизме внимания. Решение опубликовано в рамках магистерской диссертации в Университете Салерно и служит базовым этапом для детектора DoRA-to-VPT. Модель пригодится исследователям и разработчикам систем видеоаналитики для автоматического поиска инцидентов в длинных архивах записей.
Ключевые особенности
- Адаптация DoRA с рангом r=32 и alpha 64 применена ко всем 24 блокам трансформера (проекции QKV, output и MLP).
- Поверх энкодера работает голова на механизме внимания (4 блока, 16 голов) с бинарным выходом.
- Обучаемая часть занимает около 63,7 млн параметров (49,3 млн в голове и 14,4 млн в адаптере), а сам чекпоинт весит 510 МБ.
- Модель успешно переносится между датасетами: без дообучения (zero-shot) показывает стабильные результаты на MIVIA-Crime.
Что можно сделать
- Подключить чекпоинт к локальному демо-серверу проекта для автоматической разметки инцидентов на записях с камер наблюдения.
- Использовать сохраненные веса последнего шага как отправную точку для обучения последовательных детекторов (например, DoRA-to-VPT).
- Сравнить эффективность PEFT-адаптации видеоэнкодеров при переносе с датасета FS-UCF-Crime на сторонние наборы видеоаномалий.
Пример
import torch
ckpt = torch.load("checkpoint/checkpoint.pt", map_location="cpu", weights_only=True)
head, adapter = ckpt["selected_head"], ckpt.get("selected_adapter", {})
print(ckpt["identity"]["run_id"], ckpt["selected_step"])
Подробнее
Метрики на тесте FS-UCF-Crime: Row AUC — 94.78%, Video F1 — 81.70%, Event recall — 82.82%, Protocol Mean — 85.64%. На кросс-датасете MIVIA-Crime: Row AUC — 92.29%, Video F1 — 81.23%.Входной формат: 8-секундные чанки (шаг 4 с), 32 кадра (~4 fps), разрешение 384×384 без обрезки; порог срабатывания τ = 0.0863.
Ограничения: в репозитории нет весов базового V-JEPA 2.1 ViT-L (нужно скачать отдельно у Meta), модель лишь фиксирует факт аномалии без определения ее класса, не предназначена для возобновления обучения и распространяется под некоммерческой лицензией PolyForm Noncommercial 1.0.0.










Комментарии