Open-H3-Regenerate-2K-IC

In-context LoRA от Efficient-Large-Model (проект NVlabs Sana) для трансформера transformer_ref модели MiniMax-H3. Принимает черновик 768P (1344×768) и регенерирует его в 1080P, 2K (2560×1440) или 4K (3840×2160), сохраняя лица, lip sync, надписи и компоновку. В комплекте — латентный апскейлер, быстрый VAE-декодер и вспомогательные LoRA.

👀 Ключевые особенности

• 👀 Черновик подаётся как референс-видео в контекст Ref2VA-трансформера, а IC LoRA генерирует HR-версию того же клипа.
• 🔥 Разрешения: 2K по умолчанию, 1080p и 4K; также 768p из черновика 384P/512P/576P через --lq.
• 🤖 Сэмплеры up3 (3 шага), up4 (4 шага) и hf8 (8 шагов), CFG 1.
• 🎁 IC LoRA: FP32, rank 384, alpha 384, 312 linear-слоёв; HyperFlow 8-step и LMS Sharp идут отдельными файлами.
• 😎 Промпт — тот же caption, что создал черновик; можно оставить пустым.

🔥 Пример

pip install -r infer/requirements.txt
python infer/download.py --out weights
cd infer
torchrun --nproc_per_node 8 infer.py --weights ../weights --input draft.mp4 --output out.mp4 --caption '...'

Подробнее

Выход: 2K по умолчанию, 1080p, 4K; вход — черновик 768P.
Трансформер шардируется на 1, 2, 4, 7 или 8 GPU (FSDP + Ulysses).
Лицензия MiniMax H3 Community License; ЕС, Великобритания, Южная Корея и США исключены.
Это не официальный продукт MiniMax; base_model — неизменённая копия MiniMax-H3.