Agnes-Video-H3-MoE
sparse MoE надстройка для генерации видео на базе MiniMax-H3
2 мин чтенияобновлено
Это экспериментальный чекпоинт, который превращает слои полносвязных сетей в блоках 15–34 модели MiniMax-H3 FL2VA в разреженную архитектуру MoE (Mixture of Experts — смесь экспертов) на уровне токенов. Для каждого токена модель запускает один общий эксперт и выбирает один из восьми частных экспертов, причем разные токены в одном видео могут задействовать разные пути. На выходе получается генерация видео и аудио, поддерживающая условную генерацию по первому, последнему или обоим кадрам. Репозиторий поставляется как композитный пакет с весами базовой модели, картой маршрутизации и обученными весами LoRA (небольшая надстройка над базовой моделью).
Ключевые особенности
- Sparse MoE архитектура: конвертация 20 из 50 диффьюзионных блоков в токен-уровневую структуру Top-1 с общими и частными экспертами.
- Мультимодальный выход: одновременная генерация качественного видеоряда со звуковым сопровождением.
- Гибкое управление: поддержка работы по первому и последнему кадрам в качестве условий.
- Рефиренс-загрузчик: в комплект входят готовые скрипты DiffSynth для инференса и проверки пакета.
Что можно сделать
- Сгенерировать качественный 10-секундный видеоролик с помощью референсного скрипта инференса на Python.
- Запустить генерацию видео по текстовому описанию, добавив начальный или конечный кадры в качестве опорных изображений.
- Проверить целостность пакета весов и конфигурацию маршрутизации с помощью автономного скрипта проверки.
Пример
hf download Agnes-AI/Agnes-Video-H3-MoE --local-dir E8T1-shared1
cd E8T1-shared1
python deploy/check.py
python deploy/infer.py \
--package . \
--prompt "A cat walks across a piano." \
--out sample.mp4 \
--height 480 --width 832 --frames 124 --steps 50 --seed 42Подробнее
Берёт за основу модель MiniMax-H3 FL2VA в формате BF16.Размер всего репозитория составляет около 135 ГБ.
Требует мощную видеокарту с поддержкой CUDA, PyTorch и значительный объем системной памяти с выгрузкой на CPU.
Обучение проводилось в течение 60 шагов на 128 примерах.














Комментарии