ReDiverse-Pika-H3-Flex
возвращаем разнообразие в генерацию видео
2 мин чтенияобновлено
Быстрые модели генерации видео часто страдают от одной проблемы: при смене seed (начального шума) они выдают почти одинаковые ролики. Адаптер ReDiverse-FT от исследователей из UIUC, Johns Hopkins University и fal исправляет это в Pika-H3-Flex — дистиллированной 6-шаговой версии MiniMax-H3, умеющей создавать видео с синхронизированным звуком. Это небольшая надстройка в формате LoRA (ранг 32, вес 612 МБ), которая подключается только на самом первом шаге генерации, а остальные пять шагов модель дорисовывает стандартно. В результате сохраняется высокая скорость рендера, но при разных сидах получаются по-настоящему отличающиеся сцены.
Ключевые особенности
- Работает поверх связки из базовой модели MiniMax-H3 и LoRA-адаптера Pika-H3-Flex (режим text-to-video).
- Обучен повторять активации исходной модели-учителя на блоках вплоть до
transformer_blocks.45. - Включается только на первом шаге сэмплирования из шести, не замедляя остальной процесс генерации.
- Поддерживает генерацию роликов с синхронным аудио, по умолчанию в разрешении 768p (16:9, 5 секунд), с возможностью переключения на 480p.
Что можно сделать
- Генерировать несколько заметно разных вариантов видео по одному и тому же текстовому промпту, просто перебирая значения
seed. - Сравнить в лоб стандартный вывод Pika-H3-Flex и версию с адаптером на одном шуме с помощью встроенного флага
--compare. - Использовать в связке с Pika-H3-Flex для быстрого прототипирования 5-секундных видеороликов со звуком, где важна вариативность дублей.
Пример
hf download ReDiverse/ReDiverse-Pika-Flex --local-dir ReDiverse-Pika-Flex
python ReDiverse-Pika-Flex/generate_pika.py --prompt "a corgi running on the beach at sunset" --seeds 0-3 --out out --compare
Подробнее
Вес файлаrediverse_ft.safetensors — 612 МБ (ранг 32), ставится поверх официальной LoRA от Pika.Перед запуском требуется установить пакет Pika H3 Flex, который сам скачает базовые веса MiniMax-H3.
Обучено и протестировано исключительно для задачи text-to-video.
Лицензия: MiniMax H3 Community License Agreement (только для исследований; действуют территориальные ограничения, включая запрет для ЕС, США, Великобритании и Южной Кореи).














Комментарии