OpenVeil-Verifier-DINOv3-ViT-L16
проверка людей в кадре для анонимизации видео
2 мин чтенияобновлено
Модель определяет, действительно ли на вырезанном фрагменте кадра находится человек, чтобы автоматически закрыть его мозаикой перед публикацией видеодатасета. Это бинарный классификатор на базе facebook/dinov3-vitl16-pretrain-lvd1689m (DINOv3 ViT-L/16) с надстройкой LoRA (небольшой адаптер поверх базовой модели) и MLP-головой от исследователей из Корнеллского университета. В отличие от обычных детекторов, она работает вторым этапом после Grounding DINO: отсеивает ложные срабатывания с низким порогом уверенности, чтобы ни один человек не остался без размытия. Пригодится исследователям и разработчикам датасетов, которым нужно быстро замаскировать людей на записях с камер наблюдения.
Ключевые особенности
- Высокая точность отбора: показатель кросс-валидации ROC AUC достигает 0.994, а на контрольной выборке HUM731 модель закрыла мозаикой 172 из 172 человек (минимум на 90% площади).
- Высокая скорость инференса: на одной видеокарте NVIDIA A10 в формате
bfloat16со слиянием весов модель обрабатывает 276.7 кропов в секунду (или 191.8 с учётом подготовки кадров на CPU). - Устойчивость к ложным срабатываниям: обучалась на 50 756 фрагментах с ферм, где главными «отвлекающими» объектами были телята, коровы и элементы загонов.
- Безопасный формат весов: адаптер и классификационная голова распространяются в
safetensorsс контрольными суммами без небезопасных pickle-файлов.
Что можно сделать
- Подключить к пайплайну OpenVeil для автоматического размытия сотрудников и посетителей на научных или промышленных видеозаписях перед выкладкой в открытый доступ.
- Использовать как отправную точку для дообучения (файнтюна) верификатора людей под собственные камеры, складские помещения или другие домены.
- Встроить в связку с Grounding DINO в качестве второго фильтра, если первичный детектор выдаёт слишком много ложных срабатываний на животных или фоне.
Пример
from openveil.detect.verifier import CropVerifier
verifier = CropVerifier(
adapter_dir="weights/OpenVeil-Verifier-DINOv3-ViT-L16",
device="cuda"
).load()
scores = verifier.score_frames([frame_bgr], [[[x1, y1, x2, y2]]])
Подробнее
Метрики: ROC AUC 0.994; на 2000 повседневных кадров ложные боксы появляются в 3.3% случаев (крупные ≥15% кадра — в 0.4%).Архитектура: LoRA (rank 32, alpha 64) на всех линейных слоях DINOv3 ViT-L/16 + MLP-голова 1024 → 1024 → 512 → 2, вход 224×224.
Требования и совместимость: нужна
transformers ≥ 4.56 и < 5 (тестировалось на 4.57.1 + peft 0.13.2); саму базу DINOv3 нужно запросить отдельно у Meta.Ограничения: обучена только на записях из телятников; работа на ночных ИК-кадрах с людьми не проверялась, возможны пропуски частично скрытых ног или людей у края кадра.










Комментарии