CGVM-R2.6-Qwen3VL-8B-step600
чекпоинт для точного анализа коротких и длинных видео
2 мин чтенияобновлено
Промежуточный чекпоинт LoRA-адаптера (небольшой надстройки над базовой моделью) для мультимодальной модели Qwen3-VL-8B-Instruct, созданный автором XiangnanW. Модель решает задачи понимания видео и ответов на вопросы (Video QA) с выбором вариантов, исправляя слабые места предыдущей версии R2.5 в работе с короткими роликами, направлением движения, скоростью и подсчётом повторений. Подойдёт исследователям и разработчикам систем видеоаналитики, которым важно стабильное качество как на коротких фрагментах до 24 секунд, так и на длинных видеопотоках.
Ключевые особенности
- Плотная выборка для коротких видео: для роликов короче 24 секунд модель равномерно извлекает полные 16 кадров по всей длине фрагмента вместо разреженной выборки 1 FPS (кадр в секунду), сохраняя логику работы с длинными потоками свыше 24 секунд.
- Поддержка вопросов с 2–5 вариантами ответа: в пайплайне инференса реализована калибровка через log_softmax, которая опирается на предсказание LoRA при высокой уверенности и подключает базовую модель только в спорных случаях.
- Защита от сбоев декодирования: добавлен автоматический откат на последовательное чтение через cv2 для видео с некорректными отрицательными метками времени (PTS), что исключает зависания при обработке.
- Расширенный датасет на 28 000 примеров: к базовым данным добавлено 8 000 пар «вопрос-ответ» из PerceptionTest, MotionBenchCaption и SSv2 с акцентом на порядок действий, ракурс камеры, скорость и обратное воспроизведение.
Что можно сделать
- Прогнать бенчмарки видеопонимания: протестировать связку весов step-600 и обновлённого кода из репозитория на наборах TempCompass и MotionBench.
- Встроить в пайплайн Video QA: использовать обновлённый механизм буферизации кадров из
src/для анализа коротких видеоклипов и потокового видео. - Сравнить с версией R2.5: оценить прирост точности на задачах определения направления движения, скорости и подсчёта повторяющихся действий.
Пример
torchrun --nproc_per_node=8 scripts/evaluate_adapted.py \
--variant R2 --benchmark tempcompass \
--reader-dir checkpoints/R2/reader \
--output-root results/R2_6_step600 --resumeПодробнее
Состояние весов: промежуточный снэпшот step-000600 из 875 шагов (обучено 19 200 из 28 000 примеров, 68.57%), размер адаптера 677 МБ.Параметры обучения: 4×H100, global_batch=32, lr=6e-5, LoRA r=64, alpha=64, kl_weight=0.10.
Предварительные замеры (R2.5 + новый пайплайн R2.6): TempCompass (n=160) вырос с 73.75% до 75.62%, MotionBench (n=156) — с 57.05% до 61.54%.
Ограничение: для работы всех исправлений обязательно использовать обновлённый код инференса из папки
src/ или архива cgvm-r26-src-v1.tar.gz, старый код от R2.5 не активирует новые механизмы.









Комментарии