FastFrames-L
быстрая генерация видео от Apple
2 мин чтенияобновлено
Модель FastFrames-L (14B параметров) создана исследователями Apple на базе архитектуры Wan2.1-T2V-14B и предназначена для генерации видео в реальном времени с интерактивной задержкой. Это авторегрессионная двухшаговая диффузионная модель (модель, создающая контент через постепенное удаление шума), которая выдает видео в разрешении 480p. Релиз включает официальную реализацию для запуска генерации текста в видео (T2V) и интерактивные демо с управлением камерой. Модель подойдет исследователям и разработчикам интерактивных систем генерации медиаконтента.
Ключевые особенности
- Авторегрессионный двухшаговый подход для генерации видео с интерактивной задержкой.
- Базируется на мощной модели Wan2.1-T2V-14B с дистилляцией (процессом сжатия модели для ускорения работы).
- Поддерживает генерацию видео в разрешении 832×480 на скорости 16 кадров в секунду.
- Включает оптимизированные компоненты для эффективного кэширования KV-cache и обработки пикселей.
Что можно сделать
- Запустить генерацию видео по текстовому описанию (Text-to-Video) с помощью скриптов репозитория.
- Протестировать интерактивное управление камерой с помощью демо-приложения с интеграцией LingBot.
- Провести оценку качества генерации и бенчмарки с использованием утилит VBench.
- Использовать чекпоинты для кастомного обучения или дистилляции видеомоделей.
Пример
Запуск генерации видео по текстовому промпту:
uv run python scripts/generate.py --model ff-l --checkpoint-dir checkpoints \
--prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4Подробнее
Бенчмарки: воспроизводит результаты VBench для оценки качества и семантики.Требования к железу: Linux x86-64, GPU от NVIDIA с поддержкой CUDA 12.8 (для FastFrames-L рекомендуется несколько GPU).
Особенности обучения: дистилляция из Wan2.1-14B с использованием рецепта Causal Forcing++ и дообучением декодера пикселей.
Лицензия: Apple Sample Code License.










Комментарии