ReentryMem
инференс-чекпоинт для динамического возврата объектов в видеомоделях
1 мин чтенияобновлено
Модель представляет собой обученный чекпоинт на базе Wan-AI/Wan2.2-TI2V-5B для задачи динамического ре-энтри сущностей в видео. Она объединяет веса DiT (Diffusion Transformer) и параметры кондиционирования камеры на шаге 1496 в формате BF16. Чекпоинт ориентирован на исследовательские задачи видеогенерации с контролем положения камеры и объектов, требуя отдельной загрузки текстового энкодера, токенайзера и VAE из базовой модели. Релиз предназначен для исследователей и разработчиков, работающих с продвинутой генерацией видео.
Ключевые особенности
- Включает объединенные веса BF16 DiT и параметры кондиционирования камеры на шаге 1496.
- Поддерживает вариант single-entity для задачи виртуального ре-энтри сцены из научной работы.
- Использует калиброванную выборку по регионам сущностей через режим localized.
- Стандартный пайплайн генерации рассчитан на 77 наблюдаемых и 76 будущих RGB-кадров при разрешении 832x480.
Что можно сделать
- Сгенерировать видео с динамическим возвратом указанного объекта в кадр по текстовому описанию.
- Запустить генерацию с управлением положением камеры, используя репозиторий проекта.
Пример
Используйте официальный репозиторий проекта Larry-077/ReentryMem для запуска кастомного инференса с чекпоинтом single-entity и текстовым описанием сущности.
Подробнее
Базовая модель: Wan-AI/Wan2.2-TI2V-5BФормат: BF16 DiT чекпоинт (шаг 1496)
Параметры генерации по умолчанию: 77 наблюдаемых кадров, 76 будущих кадров, 832x480, 15fps, 50 шагов, CFG5
Требует отдельной загрузки текстового энкодера, токенайзера и VAE от базовой модели










Комментарии