VideoJev-2B
анализ видео и поиск событий без генерации текста
2 min readupdated
Модель для понимания видео, которая находит точные временные интервалы событий (temporal grounding) и отвечает на вопросы с вариантами выбора. В её основе лежит языковая модель Qwen3.5-2B (около 2,18 млрд параметров) от исследователей MCG-NJU. Вместо долгой пословной генерации ответа VideoJev-2B оценивает кандидатов с помощью общей decision head (выходного слоя для выбора решения) и сразу выдаёт вероятности и таймкоды в секундах. Подойдёт разработчикам систем видеоаналитики, поиска по архивам и умных видеоассистентов.
Ключевые особенности
- Объединяет две задачи в одном интерфейсе: поиск отрезка видео по текстовому запросу и выбор ответа на вопрос по сюжету.
- Не тратит время на авторегрессионную генерацию токенов — возвращает готовые вероятности через sigmoid и softmax.
- Поддерживает обработку длинных роликов (в демо используется до 2048 кадров с контекстом 8192).
- Работает в двух режимах инференса: Cached и Joint, а в линейке также есть более лёгкая версия VideoJev-0.8B.
Что можно сделать
- Встроить в сервис поиска по видеоархивам или записям лекций, чтобы находить нужные моменты по текстовому описанию и получать точный интервал в секундах.
- Использовать для автоматической разметки видеодатасетов и проверки событий в роликах с помощью вопросов с вариантами ответа.
- Развернуть на одной видеокарте с поддержкой CUDA и FlashAttention 2 для быстрого скоринга видеоконтента.
Пример
processor = AutoProcessor.from_pretrained("ZhuYuhan/VideoJev-2B", trust_remote_code=True)
model = AutoModel.from_pretrained("ZhuYuhan/VideoJev-2B", trust_remote_code=True, dtype=torch.float32, device_map={"": "cuda:0"}, attn_implementation="flash_attention_2")
model.prepare_for_inference()
questions = [
{"id": "event", "task": "grounding", "query": "The woman in green eats pasta."},
{"id": "question", "task": "choice", "query": "What is the woman in green eating?", "options": ["A. Pasta.", "B. Rice.", "C. Soup."]},
]
results = model.predict_video(processor, "eating_spaghetti.mp4", questions, fps=2.0, max_frames=2048, context=8192)
Подробнее
Бенчмарки (режим Joint): MLVU — 74.16% (M-Avg), QVHighlights — 69.56% (mIoU), LongVideoBench — 68.44%, Video-MME — 68.22%.Веса хранятся в FP32, при инференсе на CUDA используется BF16 autocast и расчёт оценок в FP32.
Требуются Python 3.12, PyTorch 2.8 (CUDA 12.8), transformers 5.14.1, flash-attn, causal-conv1d и flash-linear-attention.
Для длинных видео требуется больше видеопамяти, чем для короткого демо на 2 FPS.










Comments