MiniMax-H3 PTD + RefAsymOPD

Это набор LoRA-адаптеров от taobao-content-ai для MiniMax-H3: Ref2VA (reference image → video + audio) с ускорением до 8 или 6 шагов. Метод сочетает PTD (Parametric Trajectory Distillation) и RefAsymOPD (Reference-Asymmetric On-Policy Distillation).

👀 Ключевые особенности

• 💪 Два чекпоинта: 8-step для максимального качества и 6-step для меньшей задержки.
• 🔥 По карточке улучшает background plausibility, sharpness и realism по сравнению с обычным PTD при том же числе шагов.
• 👉 Структурно идентичен plain PTD LoRA: один независимый low-rank адаптер на шаг inference поверх per-interval output heads из PDD.
• 💸 8-step выполняет 8 transformer evaluations, 6-step — 6; без дополнительных входов и без доп. затрат относительно plain PTD.
• 🐱 rank=128, network_alpha=128, BF16; конфигурация хранится в metadata safetensors.

👉 Пример

python predict_ref2v.py --ptd-lora MiniMax-H3-Ref2VA-PTD-RefAsymOPD-8Step.safetensors --case 1
python predict_ref2v.py --ptd-lora MiniMax-H3-Ref2VA-PTD-RefAsymOPD-6Step.safetensors --case 1

Подробнее

Демо: portrait 768×1344, 124 frames, 24 fps, with audio; база MiniMax-H3 для сравнения — 40 sequential steps без LoRA, это в 5× больше compute, чем у 8-step.
Нужен diffusers >= 0.40.0 с workflow ref2va; базовые веса, text encoder и VAE скачиваются отдельно — репозиторий содержит только адаптер.
Для ComfyUI есть custom nodes в comfyui_node/ComfyUI-MiniMaxH3-PTD, вместе с ComfyUI-PTD.