MiniMax-H3-Character-Swap-LoRA
замена персонажей на видео по референсу
2 мин чтенияобновлено
Адаптер в формате LoRA (небольшая надстройка над базовой моделью) от Akatz Labs для замены выбранного человека в исходном видео на персонажа с одного референсного изображения. Модель работает поверх базы MiniMax-H3 (вариант Ref2VA) и переносит лицо, причёску и одежду с картинки, сохраняя при этом позу, взгляд, мимику и движения актёра из ролика, а также фон и остальных людей в кадре. В актуальной версии V1.5 улучшено удержание стилизованных лиц и деталей внешности по сравнению с первой версией, где персонаж мог срываться обратно в исходный облик. Инструмент пригодится видеомейкерам, аниматорам и авторам контента, работающим с генерацией видео в ComfyUI.
Ключевые особенности
- Версия V1.5 (
h3_character_swap_v1.5.safetensors) рекомендуется как основная с весом (strength) 1.0, но в репозитории оставлена и V1 для воспроизводимости старых пайплайнов. - Нативная интеграция в ComfyUI через воркфлоу H3 Relay 2.0 с поддержкой сегментации масками через SAM, циклов и таймлайн-помощников.
- Поддержка ускоренного пайплайна на 8 шагах при использовании с базой Ref2VA INT8 и отдельным ускорителем
minimax_h3_fl2v_turbo_8step_v1.0_768p_comfyui_bf16.safetensors. - Улучшенное сохранение идентичности сложных и стилизованных персонажей в динамичных сценах по сравнению с релизом V1.
Что можно сделать
- Заменить актёра в коротком непрерывном дубле (24 fps) на собственного вымышленного или стилизованного персонажа с сохранением оригинальной актёрской игры.
- Встроить персонажа с концепт-арта в живую сцену с несколькими людьми, не перерисовывая окружение и второстепенных героев.
- Протестировать быструю итерацию роликов в разрешение 768p на 8 шагах (сэмплер
er_sde, CFG 1) перед финальной доработкой длинных сцен.
Пример
Сценарий запуска в ComfyUI: на вход подаётся исходный ролик (), референсное изображение персонажа () и текстовый промпт:
«Replace the selected person in with the character in . Keep the reference character's face, hair and clothing. Follow the source performance's pose, gaze, expression and movement. Preserve the scene and the other people.»
Подробнее
Рекомендуемый чекпоинт V1.5 дообучен на 1 000 дополнительных шагах поверх V1.Проверенный рецепт запуска: база Ref2VA INT8 + LoRA (strength 1.0) + Turbo-модель (strength 1.0), 8 шагов, CFG 1, планировщик
er_sde / normal.Ограничения: модель экспериментальная, на сложных перекрытиях, склейках и длинных планах возможен дрейф мимики и внешности; аудиодорожка сохраняется средствами приложения, точный липсинк не гарантируется.
Лицензия: MiniMax H3 Community License Agreement.














Комментарии