MiniMax-H3-Image-Character-Swap
замена персонажей на фото и артах
2 мин чтенияобновлено
Готовый объединённый чекпоинт от akhaliq на базе генератора изображений MiniMax-H3-Image и адаптера MiniMax-H3-Character-Swap-LoRA (от Akatz Labs). Изначально эта LoRA (небольшая надстройка над базовой моделью) обучалась для видео, но автор вшил её напрямую в веса DiT (трансформер-диффузии) для работы со статичными картинками без отдельного подключения файлов и сложных графов в ComfyUI. Модель берёт исходную сцену и референс героя, после чего заменяет нужного человека, сохраняя фон, освещение, позу и остальных людей в кадре. Главное отличие от базовой версии — способность корректно переносить аниме- и рисованных персонажей на фотореалистичные снимки, даже если человек на фото стоит строго в профиль.
Ключевые особенности
- Кросс-стилевая замена в профиль: базовый MiniMax-H3-Image проваливал перенос нарисованного персонажа на боковой профиль (3 из 3 попыток), тогда как слитая версия справляется с первого раза на том же сиде.
- Работа из коробки: веса LoRA (ранг 16, 312 модулей) уже вшиты в архитектуру
transformer_diffusersс силой 1.0 — не нужно вручную переназначать ключи или искать адаптер. - Высокая детализация: лучше оригинала удерживает черты лица, тон кожи и мелкие детали одежды референса, поддерживая генерацию в разрешении от 4 до 16 мегапикселей.
- Быстрая дистиллированная генерация: требует всего 6 шагов сэмплирования при CFG 1 без дополнительной настройки параметров.
Что можно сделать
- Встраивать 2D-героев в реальные фото: поместить аниме-персонажа или иллюстрацию в уличную, книжную или интерьерную фотографию с сохранением естественного света и теней.
- Менять актёров и героев в готовых сценах: заменить конкретного человека на групповом снимке (указав его в промпте, например «мужчина в фиолетовой рубашке») на другого персонажа по референсу.
- Запускать на одной видеокарте уровня H200: вынести тяжёлый текстовый энкодер (67 ГБ) на удалённый сервер, оставив в локальной видеопамяти только сам DiT (66 ГБ) и VAE (2 ГБ).
Пример
from diffusers import ModularPipeline
import torch
REPO = "akhaliq/MiniMax-H3-Image-Character-Swap"
pipe = ModularPipeline.from_pretrained(REPO).blocks.init_pipeline(REPO)
pipe.load_components(dtype=torch.bfloat16)
pipe.to("cuda")
image = pipe(prompt="Swap the man in with the character in .", image=[scene, char], width=2720, height=1536, output="images")[0]
Подробнее
Требования к железу: для полного локального запуска нужно около 140 ГБ VRAM (66 ГБ DiT + 67 ГБ энкодер Qwen3-VL), поддерживается только модульный форматdiffusers==0.43.0.Валидация: визуально идентична подключению отдельной LoRA (PSNR 21–27 дБ — разница только в округлении bfloat16), протестирована на 8 сложных кейсах.
Ограничения: LoRA обучалась на видеороликах (24 fps), поэтому при экстремальных позах, сильном перекрытии объектов или очень мелких лицах возможны артефакты.














Комментарии