ReQuest
умный отбор кадров для анализа длинных видео
2 мин чтенияобновлено
ReQuest — это подключаемый модуль (plug-and-play) для систем, отвечающих на вопросы по длинным видеороликам (Long-Form Video QA). Если мультимодальная языковая модель (MLLM, в работе используется LLaVA-Video-7B-Qwen2) не уверена в своём первом ответе, селектор оценивает каждый кадр видео с частотой 1 fps на соответствие заданному вопросу и выбирает самые важные моменты, после чего нейросеть отвечает повторно. Релиз подготовлен исследователями из Kyung Hee University к конференции ECCV 2026. Инструмент пригодится разработчикам видеоассистентов и систем поиска по длинным записям, где обработка всех кадров подряд слишком дорога или приводит к потере контекста.
Ключевые особенности
- Работа по принципу переосмысления: модуль подключается только тогда, когда MLLM сомневается в первичном ответе, экономя ресурсы на простых вопросах.
- Точечный скоринг под вопрос: селектор анализирует кадры с шагом 1 кадр в секунду и отбирает именно те фрагменты, которые помогают ответить на конкретный запрос.
- Готовые чекпоинты под разные задачи: в репозитории выложены три веса с одного прогона обучения на псевдометках ReQuest, настроенные под разные длительности и форматы видео.
Что можно сделать
- Повысить точность ответов связки на базе
LLaVA-Video-7B-Qwen2при работе с длинными лекциями, стримами и фильмами без субтитров. - Воспроизвести результаты статьи ECCV 2026 и протестировать отбор ключевых кадров на стандартных бенчмарках Video-MME, LongVideoBench и MLVU.
- Встроить селектор как промежуточный этап фильтрации кадров в пайплайны видеоаналитики и поиска событий по текстовому запросу.
Пример
git clone [https://github.com/ailab-kyunghee/ReQuest](https://github.com/ailab-kyunghee/ReQuest) && cd ReQuest
huggingface-cli download suyong-3/ReQuest --include "request_selector_*.pth" --local-dir checkpoints
bash scripts/eval.sh videomme # или longvideobench, mlvu
Подробнее
Точность с LLaVA-Video-7B-Qwen2: Video-MME (без субтитров) — 65.19% (чекпоинт epoch 20, tau0=0.55), LongVideoBench (val) — 59.76% (epoch 2, tau0=0.30), MLVU (dev, m-avg) — 71.68% (epoch 1, tau0=0.45).Все три файла (
.pth) получены в ходе одного запуска обучения на датасете псевдометок ReQuest.В репозитории приложен файл
SHA256SUMS для проверки целостности весов и ссылка на код на GitHub.









Комментарии