MiniMax-H3 People & Vehicle Removal LoRA
очистка обычных и 360° видео от людей и машин
2 мин чтенияобновлено
Эта LoRA (небольшая обучаемая надстройка над базовой моделью) предназначена для видеогенератора MiniMax-H3 Ref2VA и убирает людей, транспорт и следы съёмки из перспективы и 360-градусных панорамных сцен. На вход подаются три опорных кадра в хронологическом порядке и текстовый промпт на удаление, а на выходе получается чистое фоновое видео без лишних объектов. В отличие от базовой MiniMax-H3, которая оставляет машины на дороге и оператора в нижней части панорамы, адаптер уверенно зачищает сцену благодаря переносу навыка с обычных видео на панорамные. Инструмент пригодится тем, кто работает со стрит-съёмкой, виртуальными турами или готовит чистые фоны для визуальных эффектов.
Ключевые особенности
- Поддерживает как стандартные перспективные сцены (832×480), так и полные 360° панорамы (960×480).
- Генерирует ролики длиной 107 кадров при 24 fps по трём разреженным опорным изображениям (например, кадры 0, 35 и 106 для панорам).
- Переносит навык удаления объектов на панорамы без парных 360° датасетов — обучение шло совместно на реконструкции панорам и парных перспективных клипах.
- Компактный вес 125 MiB в формате BF16 с рангом 32, подключается поверх базы MiniMax-H3 Ref2VA через библиотеку DiffSynth-Studio.
Что можно сделать
- Убрать оператора, его руки, плечи и артефакты нижней точки (надира) из панорамной уличной съёмки 360°.
- Очистить городские и дорожные кадры от прохожих и припаркованных или проезжающих автомобилей, получив пустую улицу.
- Использовать как этап подготовки чистых фонов на основе трёх ключевых кадров с помощью пайплайна DiffSynth-Studio.
Пример
from diffsynth.pipelines.minimax_h3_audio_video import ModelConfig
pipe.load_lora(
pipe.dit,
ModelConfig(path="MiniMax-H3-People-Vehicle-Removal-Ref2VA-v1-step1000.safetensors"),
alpha=1.0,
)Подробнее
Метрики (замер SAM3 на 21 кадре): доля кадров с людьми/авто в панорамах снизилась с 81.9% до 25.7%, в перспективе — с 15.7% до 0.0% (SSIM вырос с 0.325 до 0.392).Рекомендуемые настройки инференса: CFG 1.0, 50 шагов сэмплирования, 107 кадров, 24 fps, звук отключён, референсы подаются в Qwen и VAE.
Обучение: 1000 шагов (AdamW, lr 5e-5, batch 16) на 6635 клипах (3598 панорамных и 3037 перспективных пар из SpatialVID и PanoVid).
Лицензия: MiniMax H3 Community License (некоммерческое использование, стандартная лицензия исключает ЕС, Великобританию, США и Южную Корею без отдельного разрешения).














Комментарии