LiberalMind Video VAE
вариационный автоэнкодер для работы с видео
2 мин чтенияобновлено
Модель от исследовательской инициативы LiberalMind решает задачу сжатия и реконструкции видеопоследовательностей, выступая базовым компонентом для систем робототехники и моделей восприятия мира (World Models). Архитектура обучается на клипах разрешения 256×256 пикселей длиной 17 кадров с использованием комбинации покадровой реконструкции, перцептивного сходства LPIPS и латентной регуляризации. Чекпоинт ориентирован на исследователей в области эмбодированного ИИ (Embodied AI) и временного анализа визуальных данных. Для работы с моделью помимо весов требуется отдельно подключить файл с описанием архитектуры vae.py.
Ключевые особенности
- Видеопредставление: Кодирование и реконструкция коротких видеопоследовательностей с помощью вариационного автоэнкодера (VAE).
- TPU-обучение: Конфигурация оптимизирована под работу на Google Cloud TPU через стек PyTorch/XLA и SPMD параллелизм.
- Перцептивная потеря: Использование метрики LPIPS (VGG) для оценки визуального сходства.
- Формат данных: Обработка входных тензоров размерности [B, 3, 17, 256, 256] в точной сетке BF16.
Что можно сделать
- Исследования в робототехнике: Использовать модель как основу для извлечения визуальных признаков в задачах восприятия для автономных агентов.
- Анализ видеопоследовательностей: Применять для задач временного визуального понимания и создания компактных латентных представлений.
- Запуск обучения на TPU: Развернуть конвейер дообучения на собственных датасетах с помощью предоставленных инструкций и скриптов.
Пример
Пример кода для загрузки скачанного чекпоинта и инициализации модели:
import torch
from vae import VAE
checkpoint = torch.load(
"last.pt",
map_location="cpu",
weights_only=False,
)
model = VAE()
model.load_state_dict(checkpoint["model"])
model.eval()
print("Model loaded successfully")
print("Training step:", checkpoint["step"])
Подробнее
Разрешение входа: 256×256 пикселейДлина последовательности: 17 кадров
Оптимизатор: AdamW (learning rate 1e-4)
Фреймворк: PyTorch / PyTorch/XLA










Комментарии