К содержимому

Датасет · TempoFunk

Латентные представления видео и CLIP-эмбеддинги промптов

TempoFunk/small

7,8 тыс. видео в виде латентных массивов и CLIP-эмбеддингов описаний для генерации видео.

Что внутри

Набор включает 7800 примеров случайных видео на английском языке, уже закодированных в латентное пространство. Каждый семпл состоит из латентов 120 кадров исходного размера 512x512 в формате массивов NumPy (форма 120x4x64x64) и текстовых описаний, закодированных через CLIP от OpenAI (форма 77x768). Дополнительно прилагаются JSON-метаданные с описаниями, тегами, категориями и ссылками на источники.

Что можно сделать

  • Обучение и дообучение моделей text-to-video без затрат на VAE-кодирование
  • Тренировка классификаторов видео и изображений на латентных признаках
  • Эксперименты с генеративными диффузионными архитектурами
Задачи
Текст → видео, Текст → картинка, Классификация видео, Классификация картинок
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
22,4 тыс.
Лайков
13

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("TempoFunk/small")