К содержимому

Датасет · Spawning

12 миллионов пар картинка–текст из общественного достояния

Spawning/pd12m-full

Готовая к потоковой загрузке версия корпуса PD12M в формате webdataset для обучения генеративных и мультимодальных моделей.

Что внутри

Это скачанный и переупакованный в tar-архивы формата webdataset вариант открытого датасета Spawning/PD12M с разрешения его авторов. Внутри содержится от 10 до 100 миллионов пар из изображений и текстовых описаний на английском языке. Данные организованы так, чтобы их можно было напрямую стримить по URL без полного предварительного скачивания.

Что можно сделать

  • Предобучение и дообучение моделей генерации изображений по тексту
  • Обучение мультимодальных энкодеров вроде CLIP на очищенных от копирайта данных
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
29,1 тыс.
Лайков
21

Как загрузить

from datasets import load_dataset

ds = load_dataset("Spawning/pd12m-full")