Датасет · Dev-Jahn
Видеодатасет OpenVid-1M в формате WebDataset
Dev-Jahn/OpenVid-1M-wds
Переупаковка известного набора данных OpenVid-1M в .tar-шарды для быстрой потоковой загрузки при обучении видеомоделей.
Что внутри
Датасет представляет собой переупаковку оригинального корпуса nkp37/OpenVid-1M (ICLR 2025) размером от 1 до 10 миллионов записей с англоязычными текстовыми описаниями и видео. Само содержимое видеороликов не менялось, но файлы пересобраны в формат WebDataset (.tar-шарды по ~2 ГБ) для эффективного последовательного чтения по HTTP или NFS.
Что можно сделать
- Обучение моделей генерации видео по тексту (text-to-video)
- Обучение моделей классификации и понимания видео
- Потоковый стриминг видеоданных при распределённом обучении
- Задачи
- Текст → видео, Классификация видео
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 27,8 тыс.
- Лайков
- 2
Как загрузить
from datasets import load_dataset
ds = load_dataset("Dev-Jahn/OpenVid-1M-wds")