ZYLU-SWAP v1
замена человека в видео по фото
2 мин чтенияобновлено
Модель заменяет персонажа в исходном видео на человека с 1–2 референсных изображений, при этом сохраняет оригинальные движения и фон. Она построена на архитектуре DiT (диффузионный трансформер) на 263M параметров, обучена с нуля методом Rectified Flow и работает в латентном пространстве stabilityai/sd-vae-ft-mse. От аналогов решение отличается тем, что переносит скелет и силуэт исходного человека с помощью YOLOv8, а затем вклеивает сгенерированного персонажа обратно в оригинальную сцену по маске. Пригодится исследователям и разработчикам для прототипирования пайплайнов переноса движений и подмены людей в вертикальных роликах.
Ключевые особенности
- Контроль позы и формы: для выделения силуэта и скелета на этапе подготовки данных и управления генерацией используются YOLOv8-seg и YOLOv8-pose.
- Обработка длинных роликов: видео генерируется блоками по 16 кадров с перекрытием в 4 кадра для плавности переходов.
- Компактная архитектура: генератор на 263M параметров обучен с нуля на 2693 реальных видеоклипах с людьми из датасетов Human-Image-Animation-Data и human-motion.
- Формат весов: модель выложена в виде
zylu_swap_v1.safetensors(EMA, точность bf16) с файлом конфигурацииconfig.json.
Что можно сделать
- Подменить актёра в вертикальном ролике: загрузить видео в формате 9:16 с человеком в кадре и 1–2 фото другого человека, чтобы перенести на него исходную пластику.
- Протестировать пайплайн DiT + YOLO: использовать веса как базу для дообучения или экспериментов с заменой персонажей без перерисовки заднего плана.
Пример
Сценарий работы из карточки: на вход подаётся исходное видео с видимым человеком и 1–2 референсных изображения нового персонажа. Пайплайн извлекает скелет и маску через YOLOv8, генерирует новое тело в разрешении 384×224 (9:16) батчами по 16 кадров с нахлёстом в 4 кадра и композитит результат поверх исходного фона по маске.
Подробнее
Статус: промежуточный чекпоинт (1494 шага обучения).Метрики на валидации (по области человека): psnr_pessoa — 15.6486, cor_da_ref_na_troca — 0.1709, flicker_ratio — 1.0297.
Ограничения: низкое разрешение (384×224), слабая детализация лица и рук, новый персонаж строго ограничен силуэтом исходного, в кадре обязательно должен присутствовать человек.










Комментарии