DA-Flow
модель для оценки оптического потока с учетом деградации
1 мин чтенияобновлено
DA-Flow — это предварительно обученные веса для оценки оптического потока (optical flow) с использованием диффузионных признаков восстановления изображений (Image Restoration Diffusion Features). Модель основана на базе stabilityai/stable-diffusion-3.5-medium и включает трансформер DiT4SR и специализированную сетевую структуру для работы с потоком. Она помогает точнее определять движение на поврежденных, зашумленных или размытых кадрах за счет использования возможностей диффузионной модели. Инструмент пригодится исследователям и разработчикам в области компьютерного зрения и обработки видео.
Ключевые особенности
- Использует признаки диффузионного восстановления из Stable Diffusion 3.5 Medium
- Включает выделенный DiT4SR трансформер для первой стадии
- Предназначена для работы в условиях сложной деградации изображений
- Опирается на открытую научную работу и официальный репозиторий с кодом
Что можно сделать
- Запустить оценку оптического потока для зашумленных или размытых последовательностей кадров
- Провести эксперименты с визуализацией движения на базе диффузионных фич
- Интегрировать модель в пайплайны обработки видео вместе с компонентами SD3.5 Medium
Пример
Использование модели описано в официальном репозитории проекта на GitHub, где подгружаются веса transformer/ и daflow_flow.pth вместе с VAE и шедулером от Stable Diffusion 3.5 Medium.
Подробнее
Базовая модель: stabilityai/stable-diffusion-3.5-mediumПараметры: 2.94B
Библиотека: diffusers
Компоненты: transformer/ и daflow_flow.pth










Комментарии