FlashVSR+ ONNX
ONNX-версии быстрой модели апскейла видео
2 мин чтенияобновлено
Набор весов и графов в формате ONNX для модели FlashVSR+, портированный командой moonbox для запуска на различных устройствах через ONNX Runtime на базе CPU, CUDA или DirectML. Базируется на архитектуре Wan2.1-T2V-1.3B и позволяет выполнять стриминговый апскейл видео в реальном времени с гибридным вниманием. Репозиторий содержит версии в fp16 и int8 с готовыми скриптами препроцессинга и инференса. Полезно разработчикам и видеоэнтузиастам для локального запуска апскейла видео на поддерживаемом железе.
Ключевые особенности
- Поддержка формата ONNX для интеграции в сторонние приложения и запуск через ONNX Runtime.
- Два варианта точности на выбор: fp16 и int8 (с квантованием весов DiT до 8 бит).
- Включен готовый пайплайн обработки кадров, работающий аналогично оригинальному репозиторию.
- Сохранение высокого качества кадров с минимальными потерями PSNR по сравнению с оригинальным PyTorch-решением.
Что можно сделать
- Запустить локальный апскейл видеороликов с помощью Python-скрипта или командной строки.
- Интегрировать ONNX-графы в собственные проекты обработки видео с использованием CUDA или DirectML.
- Протестировать производительность моделей в различных режимах точности на собственном железе.
Пример
import sys
from PIL import Image
from pathlib import Path
sys.path.insert(0, "fp16")
import pipeline
p = pipeline.FlashVSRPlus("fp16", "cuda")
frames = [Image.open(f) for f in sorted(Path("clip").iterdir())]
out = p(frames, width=1280, height=768, seed=1)
Подробнее
• Точность fp16: среднее PSNR 43.0 / 39.8 дБ на тестовых клипах.• Точность int8: среднее PSNR 42.9 / 39.6 дБ на тестовых клипах.
• Требования к железу: протестировано на CUDA, требуется видеокарта с поддержкой CUDA и достаточный объем памяти для кэширования.
• Лицензия: Apache-2.0.










Комментарии