К содержимому

Датасет · mlfoundations

Метаданные миллиардного набора пар картинка-текст

mlfoundations/datacomp_1b

Метаданные и ссылки на изображения с текстовыми описаниями объёмом более миллиарда записей для мультимодального обучения.

Что внутри

Датасет содержит от 1 до 10 миллиардов записей в виде таблиц, текста и ссылок на изображения (сами картинки скачиваются отдельно и защищены собственными авторскими правами). Метаданные распространяются под свободной лицензией CC-BY-4.0. Набор предназначен для масштабного отбора и фильтрации данных при создании мультимодальных моделей.

Что можно сделать

  • Предобучение моделей уровня CLIP и мультимодальных энкодеров
  • Исследование алгоритмов фильтрации и дедупликации веб-данных
  • Сборка кастомных подвыборок картинка-текст под узкие задачи
Размер
1B–10B записей
Скачиваний за месяц
33,8 тыс.
Лайков
54

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/datacomp_1b")