Shot Reader 8B
анализ видеошотов в готовую 3D-сцену для Blender
2 мин чтенияобновлено
Модель Shot Reader 8B создана компанией Voyager на базе Qwen3-VL-8B-Instruct (мультимодальной языковой модели размером 8.77 миллиардов параметров) и предназначена для реверс-инжиниринга видеошотов. Она анализирует непрерывный фрагмент видео и выдает детальный JSON-отчет: высоту камеры, угол наклона, фокусное расстояние, движение, а также расположение, размеры и траектории объектов и элементов окружения. Полученные данные позволяют напрямую воссоздать сцену в Blender или передать ее кодинг-агенту. Новинка обходит крупные закрытые модели в точности определения параметров камеры на тестовых бенчмарках и работает локально на потребительских видеокартах.
Ключевые особенности
- Назначение: считывание параметров камеры, расположения и движения объектов из видеоряда.
- Точность камеры: превосходит ряд крупных моделей в определении высоты и траектории движения камеры.
- Эффективность: оптимизирована для запуска локально или через vLLM на одном ускорителе.
- Формат вывода: структурированный JSON-документ со спецификацией шота, таймингами и координатами в метрах.
Что можно сделать
- Превизуализация: быстро получать редактируемые 3D-блокауты из референсных видеоклипов для настройки света и ракурсов.
- Управляемое AI-видео: использовать параметры камеры и траектории как точные управляющие входы для генеративных пайплайнов.
- Анализ библиотек: массово тегировать видеоархивы по типам движения камеры, ракурсам и мизансцене.
- Генерация сцен: передавать готовый JSON-описатель сценографическим агентам для автоматической сборки окружения.
Пример
Запуск скрипта обработки видеошота с указанием целевых объектов для отслеживания:
python shot_reader.py clip.mp4 \
--subject "P01: person (woman in a black polo)" \
--subject "O01: dog"Подробнее
Метрики (на 300 тестовых шотах): точность высоты и движений камеры составляет 69% (против 44–46% у конкурентов). Время обработки одного шота — 5.9 сек на H100 (или 0.76 сек в пакетном режиме vLLM).Железо: протестировано на RTX 5080 (16 ГБ VRAM) с использованием 4-битной квантизации (около 25 секунд на шот с учетом загрузки модели).
Ограничения: события и траектории движения на реальных видео даются модели сложнее; обрабатывается строго один непрерывный шот за раз.
Обучение: дообучена (LoRA r64 на внимании и MLP-слоях) на синтетических данных из процедурных 3D-сцен и размеченных архивных кадрах.










Комментарии