TaoMate-HD Preview

TaoMate-HD Preview от Alibaba TaoLive AIGC Team — inference LoRA для базовой модели MiniMax H3 FL2VA. Модель генерирует речь и видео высокого разрешения вместе, непрерывными чанками: две низкоразрешённые оценки denoising задают грубую структуру, одна высокоразрешённая уточняет пространственные детали. Адаптер поддерживает последовательный и ускоренный inference на восьми GPU.

✨ Ключевые особенности

• 🌗 Progressive-resolution: две низкоразрешённые оценки denoising и одна высокоразрешённая для деталей.
• 🕸 Stage-local аудиовизуальная история связывает соседние чанки и окна промпта.
• 💻 Inference LoRA для MiniMax H3 FL2VA; один адаптер работает в serial и accelerated режимах на 8 GPU.
• ⭐ В preview-релизе есть config.json и adapter_model.safetensors, а код inference — в отдельном репозитории.
• 📌 Лицензия — MiniMax H3 Community License; условия upstream применяются к базовой модели и адаптеру.

💻 Пример

CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 python inference.py \
  --model models/MiniMax-H3 \
  --adapter models/TaoMate-HD \
  --prompts examples/serum.json \
  --duration 10 --resolution 768x1376 \
  --mode serial --gpus 8 --output outputs/serum

Подробнее

Модель — preview-адаптер: для работы нужен base MiniMax H3 FL2VA.
Запуск рассчитан на 8 GPU; в примере — serial-режим, 10 секунд и разрешение 768×1376.
Доступен и accelerated-режим на восьми-GPU pipeline.
Лицензия — MiniMax H3 Community License, условия upstream применяются к базовой модели и адаптеру.