SHINJUTSU-H3-Control-LoRA

От makotolabs: компактный 10-block truncated SVD residual archive для ControlNet alibaba-pai/MiniMax-H3-Fun-Controlnet-Union-2.0, сделанный для SHINJUTSU-UI в ComfyUI. Файл весит 33.34 MiB против 12.92 GB у оригинала — в 369.7 раза меньше, на 99.73%. Это не обычная LoRA и не standalone checkpoint, а ΔW = W_control - W_base, который надо реконструировать вместе с base UNet.

🪐 Ключевые особенности

• 🪐 Rank-factored SVD residual archive: хранит ΔW = W_control - W_base, а не стандартные LoRA-веса; напрямую в LoraLoader или ModelPatchLoader не загружается.
• 💻 Для ComfyUI: ShinjutsuSVDControlLoRALoader или ensure_reconstructed_control_patch() собирает патч из вашего MiniMax H3 base UNet и пишет shinjutsu_h3_control_patch_v1_flash.safetensors.
• 🔥 33.34 MiB, FP16, 185 tensors; сохранены все 10 after_proj на слоях [0, 5, 10, 15, 20, 25, 30, 35, 40, 45], чтобы не появлялась 32x32-пиксельная сетка.
• ✅ В абляциях контрольные веса отличаются от base всего на 2.47%–3.32% по относительной Frobenius-норме — поэтому low-rank residual работает.
• 📌 Нужен совместимый base MiniMax H3 UNet; реконструированный патч занимает 4.12 GiB в INT8 или 7.81 GiB в BF16.
• ✨ Сжатие lossy: before_proj/after_proj в Rank-64, ΔW в Rank-4; это приближение, не бит-в-бит копия.

💻 Пример

В ComfyUI с SHINJUTSU-UI: положите shinjutsu_h3_control_lora_v1_flash.safetensors в <custom_node>/models/ или ComfyUI/models/model_patches/. ensure_shinjutsu_models() скачает файл, ensure_reconstructed_control_patch() соберёт патч из base UNet, после чего его можно передать в ModelPatchLoader и MiniMaxH3FunControlNetApply.

Подробнее

Реконструкция проверена на minimax_h3_ref2va_pruned_int8_convrot: 2.5 с на RTX PRO 6000 INT8 и 23.8 с на RTX 4060 Ti BF16; рендер 192f занял 389.9 с, пик VRAM 35.42 ГБ.
На ref2va_pruned_w6a8 — 192f за 187.7 с при 19.55 ГБ пик VRAM.
PSNR к полному 12.92 GB ControlNet — 19.45 dB; мелкие детали могут отличаться.
Нужен base MiniMax H3 UNet в ComfyUI/models/diffusion_models/.