Camera adapter v2 for Wan2.2-TI2V-5B
адаптер управления виртуальной камерой для видеогенерации
2 мин чтенияобновлено
Этот лёгкий адаптер добавляет точное управление виртуальной камерой в замороженную базовую модель Wan-AI/Wan2.2-TI2V-5B-Diffusers. На вход подаётся любое статичное изображение, на выходе получается 121-кадровое видео с разрешением 1280x704 и частотой 24 fps, в котором камера плавно смещается влево/вправо, наклоняется вверх/вниз или приближается/удаляется. Настройка интенсивности движения задаётся единым параметром силы от 0 до 1. Решение пригодится для создания динамичных видеороликов из картинок на мощном GPU-железе.
Ключевые особенности
- Шесть направлений движения: поддержка панорамирования, наклона и зума с регулируемой силой.
- Лёгкий вес: всего 14.26M обучаемых параметров (57.1 МБ в формате
float32). - Интеграция с Diffusers: работает поверх фиксированной базы Wan2.2 без изменения её основных весов.
- Режим заполнения: использование режима
replicateдля корректной генерации областей, открываемых камерой.
Что можно сделать
- Оживить статичные фотографии пейзажей, добавив плавный зум или панорамирование.
- Сгенерировать короткие видеоролики с эффектом движения камеры для презентаций или концепт-артов.
- Протестировать ранний чекпоинт (шаг 415) адаптера с помощью скрипта на Python в связке с библиотекой
diffusers.
Пример
from pathlib import Path
from huggingface_hub import snapshot_download
import zipfile, sys
local = Path(snapshot_download("D3vil-Reap3r/ie643-wan22-camera-adapter-v2", local_dir="ie643_adapter_v2"))
zipfile.ZipFile(local / "code" / "fpcamera_src.zip").extractall("fpcamera_code")
sys.path.insert(0, str(Path("fpcamera_code") / "src"))
from fpcamera import flow_infer
record = flow_infer.generate(
".",
local / "adapter" / "adapter_000415.safetensors",
"my_photo.jpg",
"out/run1",
motion="zoom_in",
strength=0.6,
steps=50, seed=42
)
Подробнее
• Базовая модель: Wan-AI/Wan2.2-TI2V-5B-Diffusers (ревизия b8fff7315c768468a5333511427288870b2e9635).• Требования к железу: CUDA GPU с пиковым потреблением около 43 GiB VRAM.
• Ограничения: ранняя версия чекпоинта (шаг 415 из 1000), неоткалиброванная шкала силы, фиксированный выходной формат 1280x704.
• Зависимости: torch 2.11.x, diffusers 0.36.0, transformers 4.57.6.










Комментарии