PGH MiniMax-H3 HOT3D ControlNet
контроль рук и контактов в видео по физическим картам
2 min read
Эта связка из ControlNet (модуля пространственного управления генерацией) и DiT LoRA (лёгкого адаптера для трансформера) позволяет генерировать видео взаимодействия рук с предметами на базе MiniMax-H3. В качестве управляющего сигнала модель принимает специальное RGB-видео, где в цветовые каналы упакованы глубина сцены, маски рук и объектов, а также интенсивность их физического контакта. Разработчик дообучил ветку MiniMax-H3-Fun-ControlNet-Union от PAI на датасете HOT3D, чтобы привязать движение рук к физическим картам. Решение пригодится исследователям и разработчикам генеративного видео, которым нужен точный контроль за положением пальцев и касанием объектов в кадре.
Ключевые особенности
- Трёхканальная физическая карта: управляющее видео кодирует глубину в канал R (ближе — ярче), сегментацию в G (руки — 255, объекты — 128, фон — 0) и силу контакта в B.
- Двойная архитектура: включает полновесный ControlNet (3.40B параметров, 5 блоков инъекции) и DiT LoRA (rank 32) для линейных слоёв внимания и MLP.
- Обучение на HOT3D: дообучение проведено на 1441 тренировочном и 75 валидационных клипах в разрешении 832×480 (24 fps, 124 кадра, без аудио).
- Чекпоинты по эпохам: в репозитории доступны веса для всех 5 эпох обучения (по 6.34 GiB для ControlNet и 296 MiB для LoRA на каждую эпоху).
Что можно сделать
- Синтез видео с манипуляциями рук: генерировать ролики с точным хватом и взаимодействием с объектами в пайплайне MiniMax-H3 на основе рендеров глубины и контактов.
- Сравнение сходимости: протестировать чекпоинты с 0-й по 4-ю эпоху в DiffSynth-Studio, так как сам автор отмечает, что инференс-оценка после обучения ещё не проводилась.
Пример
import torch
from diffsynth import load_state_dict
trained = load_state_dict("epoch-4-controlnet.safetensors", torch_dtype=torch.bfloat16, device="cpu")
names = {k: k.replace(".module.", ".") for k in pipe.controlnet.state_dict()}
pipe.controlnet.load_state_dict({k: trained[v] for k, v in names.items()}, assign=True)
pipe.load_lora(pipe.dit, "epoch-4-lora.safetensors")
Подробнее
Обучение: 5 эпох на 4×H200 (BF16, DeepSpeed ZeRO-2, DiffSynth-Studio 6b3c254), эффективный batch size 8, LR 1e-4, AdamW.Ресурсы при обучении: около 66 минут на эпоху, пиковое потребление видеопамяти — ~110 GB на карту.
Ограничения: веса сохранены во внутреннем формате DiffSynth (слитые qkv_proj); при включённом управлении VRAM требуется маппинг ключей с удалением
.module..













Comments