InternVideo2-CLIP-anomaly-detection

Это research-релиз NVIDIA: TAO-файнтюн OpenGVLab InternVideo2-CLIP-L14 с замороженным текстовым энкодером MobileCLIP-B-LT. Модель переводит видео и английские описания в общее 512-мерное пространство для text-to-video retrieval и zero-shot классификации действий. Около 373 млн параметров, включая 589 824 LoRA-параметра; лицензия — только некоммерческие исследования.

🔤 Ключевые особенности

• ▶ Vision LoRA в последних 12 блоках ViT; текстовый энкодер не обучался.
• ➕ Вход: 8 RGB-кадров 224×224 на клип и английский текст до 77 токенов.
• ➖ Выход — L2-нормализуемые эмбеддинги [batch, 512], а не подписи, боксы или вероятность события.
• ➗ Обучение на train-части NVIDIA PhysicalAI-Event-Videos с preservation regularization.
• ✖ Инференс через TAO video_clip/PyTorch или TensorRT 10.16 FP16 ONNX.

➕ Пример

Сценарий из карточки: один раз закодировать клипы видеоэнкодером и построить индекс, затем на поиске кодировать запросы вроде "person falls in a warehouse" и ранжировать клипы по cosine similarity. Для zero-shot классификации эмбеддинг видео сравнивают с эмбеддингами текстовых описаний действий.

Подробнее

Параметры: ~3,7×10^8, из них 589 824 LoRA; эмбеддинг 512-d.
Данные: train — 2 743 видео, 6 059 чанков, 85 621 caption entry; test — 393 клипа, 3 040 запросов.
Итоговые метрики retrieval и Kinetics-400 в карточке не указаны; VRAM не специфицирован.
Только английский текст; аудио не вход; мультиязычность и другие разрешения не проверялись.
Не для коммерции и не как автономная система safety-решений.