MiniMax-H3 Prompt Rewriter (Ref2VA)
умный рерайтер промптов для видео и аудио
2 min read
Модель превращает черновые описания и мультимодальные референсы (картинки, видео и аудио) в структурированные промпты для генерации роликов и звука в системе MiniMax-H3. Она построена методом SFT (контролируемого дообучения на готовых примерах) на базе языковой модели Qwen3.8-27B размером 27,36 млрд параметров от команды lightx2v. В отличие от обычных текстовых рерайтеров, версия Ref2VA умеет учитывать переданные визуальные и звуковые файлы и связывать их через метки в тексте. Инструмент пригодится тем, кто строит пайплайны генерации видео со звуком и хочет автоматизировать подготовку сложных запросов.
Ключевые особенности
- Работает в режиме Ref2VA: принимает ссылки на изображения, видео и аудио вместе с текстовым промптом и длительностью.
- Основана на
Qwen3.8-27B(27,36B параметров), также в релизе есть более лёгкая версия на базеQwen3.5-9B. - Запускается через движок
vLLMкак локальный API-сервер и поддерживает контекст до 32 768 токенов (лимит ответа — 16 384 токена). - Автоматически нумерует референсы по порядку (
image 1,video 1,audio 1) и извлекает кадры из видео с помощьюffmpeg.
Что можно сделать
- Встроить в пайплайн генерации MiniMax-H3 как промежуточный этап, чтобы превращать короткие идеи пользователя в детальные сценарии.
- Использовать для подготовки промптов с опорой на несколько референсов одновременно — например, задавать стиль по картинке и движение по видео.
- Прогонять пакетную проверку запросов в режиме
--dry_run, чтобы заранее смотреть итоговый текст промпта без запуска генерации.
Пример
pip install vllm requests pillow qwen-vl-utils
bash vllm_server.sh
bash post_vllm.sh
Подробнее
Базовая модель: Qwen3.8-27B (27,36B параметров), обучение: SFT.Требования: сервер с GPU, vLLM,
qwen-vl-utils, а также ffmpeg и ffprobe в PATH для работы с видео.Ограничения: видео разбивается на кадры (по умолчанию 8 на ролик), общий лимит картинок и кадров — 50; аудиофайлы не читаются по содержимому, а передаются как метки.
Контекст: 32 768 токенов на вход и выход суммарно, максимум 16 384 токена на генерацию.














Comments