Gen4P
адаптация видеогенераторов для 4D-восприятия
1 мин чтенияобновлено
Gen4P превращает видеогенератор в инструмент для полноценного 4D-восприятия сцены. Модель решает задачи трекинга 3D-точек, оценки глубины видео, определения позы камеры и плоской 4D-визуализации. Архитектура объединяет видеооснову Wan2.1, замороженный априорный модуль глубины DVD и декодер запросов. Решение подойдет исследователям и разработчикам, работающим с компьютерным зрением и анализом видео.
Ключевые особенности
- Основана на видеогенераторе Wan2.1
- Поддерживает трекинг 3D-точек в видео
- Включает априорный модуль глубины DVD
- Позволяет оценивать позы камеры
Что можно сделать
- Запустить трекинг точек для анализа движения в видеороликах
- Выполнить оценку глубины кадра для построения 3D-структуры
- Определить траекторию движения и позу камеры на видео
Пример
hf download yitongx/Gen4P gen4p.pth --local-dir ckpt
hf download FayeHongfeiZhang/DVD dvd_1.1.safetensors --local-dir ckptПодробнее
Лицензия: CC BY-NC 4.0Базовая модель: Wan2.1
Компоненты: Wan2.1, DVD depth prior, query decoder








Комментарии