Stream-DiffVSR

Stream-DiffVSR — каузально обусловленный диффузионный фреймворк для онлайн Video Super-Resolution (VSR). Модель работает только по прошлым кадрам, чтобы снизить задержку, и содержит 0,47 млрд параметров. Автор — Jamichsu; библиотека — diffusers, задача — image-to-image.

➕ Ключевые особенности

• ▶ Каузальное обусловливание: обработка только по прошлым кадрам для онлайн-режима.
• ➕ Четырёхшаговый дистиллированный денойзер для быстрого инференса.
• ➕ Auto-regressive Temporal Guidance (ARTG) добавляет motion-aligned cues во время денойзинга.
• ➕ Лёгкий временной декодер улучшает временную согласованность и мелкие детали.
• ➖ Чекпойнт toy/proof-of-concept: обучен на ограниченных данных, артефакты и нестабильное качество ожидаемы.

🔤 Пример

python inference.py \
    --model_id 'Jamichsu/Stream-DiffVSR' \
    --out_path 'YOUR_OUTPUT_PATH' \
    --in_path 'YOUR_INPUT_PATH' \
    --num_inference_steps 4

Подробнее

▶ 720p на RTX 4090 — 0,328 с на кадр.
➕ 4 шага инференса; есть ускорение через NVIDIA TensorRT.
➖ Это toy/proof-of-concept чекпойнт: не покрывает всё разнообразие реальных видео, качество пока не production-level.
🔜 Основная цель — демонстрация пайплайна и низкой задержки, а не финальный апскейл.