Gemma4-for-MiniMax-H3-Prompt-Extend
расширение промптов для генерации видео
2 мин чтенияобновлено
Новая модель от Wuli-art создана для улучшения текстовых запросов (промптов) для мультимодальной системы MiniMax-H3. За основу взята базовая модель Gemma4-12B-IT (языковая модель с открытым весом), дообученная специально для организации аудиовизуальных описаний. На выходе получается детализированный промпт, который учитывает движения камеры, сцены и звуковое сопровождение. Решение поставляется в стандартном и квантованном вариантах с готовыми рабочими процессами для ComfyUI.
Ключевые особенности
- На базе Gemma4: дообученная языковая модель размерностью 12B параметров от команды Google.
- Два режима работы: поддержка форматов ввода FL2VA (для текста, начальных и конечных кадров) и Ref2VA (референсная генерация).
- Готовые варианты точности: доступны стандартная версия BF16 и квантованные форматы FP8 и Int8 для экономии памяти.
- Интеграция с ComfyUI: репозиторий содержит независимые JSON-файлы воркфлоу для запуска в популярном интерфейсе.
Что можно сделать
- Создавать видео по кадрам: использовать FL2VA workflow для генерации видеоряда с контролем первого и последнего кадров.
- Генерировать по референсам: запускать Ref2VA workflow для работы с референсными изображениями и объектами.
- Улучшать текстовые описания: преобразовывать простые пользовательские задачи в подробные инструкции для аудиовизуальной генерации.
- Запускать локально: интегрировать модель в пайплайны ComfyUI с поддержкой различных уровней квантования.
Пример
Шаги для запуска в ComfyUI:
1. Скачайте модель нужной точности (BF16, FP8 или Int8) и файлы воркфлоу.
2. Перетащите нужный JSON-файл (например, minimax_h3_gemma4_pe_fl2va.json) на холст ComfyUI.
3. Укажите загруженную модель в ноде промпт-экстендера и подготовьте входные данные (первые/последние кадры или референсы).
4. Запустите пайплайн для получения улучшенного промпта и передачи его в генератор MiniMax-H3.
Подробнее
Базовая модель: google/gemma-4-12B-itБиблиотека: diffusers
Форматы весов: BF16, FP8, Int8
Воркфлоу: ComfyUI (FL2VA и Ref2VA)














Комментарии