StreamDiffusion V2 ONNX
экспорт видеомодели для быстрого инференса
1 мин чтенияобновлено
Этот репозиторий представляет собой готовый к запуску ONNX-экспорт (формат для оптимизированного выполнения моделей) казуальной видео-в-видео модели StreamDiffusionV2 на базе Wan2.1 1.3B. В комплект входят компоненты DMD DiT (в формате fp16 с разрешением 256x256 и профилем батча KV-cache 1-4), текстовый энкодер UMT5-XXL, автоэнкодер TAEHV VAE и токенизатор. Набор создан с помощью инструментов TiXL и предназначен для использования в сторонних приложениях и браузерах моделей без необходимости устанавливать Python на целевой машине.
Ключевые особенности
- Базируется на казуальной архитектуре Wan2.1 1.3B DiT для генерации видео.
- Экспортирован в формат ONNX (fp16) с разрешением 256x256.
- Включает текстовый энкодер UMT5-XXL и автоэнкодер TAEHV.
- Поддерживает профиль батча KV-cache от 1 до 4.
- Содержит все необходимые компоненты для запуска через TiXL без Python.
Что можно сделать
- Интегрировать готовую модель в приложения или браузеры моделей с поддержкой TiXL.
- Запускать видеогенерацию на целевых устройствах без установки Python.
Пример
Модель поставляется в виде готовых ONNX-файлов для экспорта и запуска через утилиты TiXL, пример кода отсутствует в карточке репозитория.
Подробнее
Лицензия: Apache-2.0 (для базовых весов StreamDiffusionV2 и Wan2.1-T2V-1.3B) и MIT (для автоэнкодера TAEHV от madebyollin/taehv).Компоненты: DMD DiT (fp16, 256x256, KV-cache batch profile 1-4), UMT5-XXL, TAEHV VAE и токенизатор.










Комментарии