К содержимому

Датасет · mlfoundations

Метаданные гигантского пула DataComp XLarge

mlfoundations/datacomp_xlarge

Ссылки на изображения и текстовые описания (от 10 до 100 млрд записей) для масштабного предобучения моделей.

Что внутри

Репозиторий хранит метаданные и пары из URL-ссылок на картинки и текстов для сверхкрупного пула DataComp XLarge, распространяемые под лицензией CC-BY-4.0. Сами файлы изображений в архив не входят и скачиваются отдельно по ссылкам с учётом их собственных авторских прав.

Что можно сделать

  • Масштабное предобучение мультимодальных моделей уровня CLIP
  • Исследование методов фильтрации и отбора сверхбольших веб-выборок
Размер
10B–100B записей
Скачиваний за месяц
19,9 тыс.
Лайков
22

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/datacomp_xlarge")