Датасет · mlfoundations
Метаданные гигантского пула DataComp XLarge
mlfoundations/datacomp_xlarge
Ссылки на изображения и текстовые описания (от 10 до 100 млрд записей) для масштабного предобучения моделей.
Что внутри
Репозиторий хранит метаданные и пары из URL-ссылок на картинки и текстов для сверхкрупного пула DataComp XLarge, распространяемые под лицензией CC-BY-4.0. Сами файлы изображений в архив не входят и скачиваются отдельно по ссылкам с учётом их собственных авторских прав.
Что можно сделать
- Масштабное предобучение мультимодальных моделей уровня CLIP
- Исследование методов фильтрации и отбора сверхбольших веб-выборок
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 19,9 тыс.
- Лайков
- 22
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/datacomp_xlarge")