Датасет · Spawning
12 миллионов пар картинка–текст из общественного достояния
Spawning/pd12m-full
Готовая к потоковой загрузке версия корпуса PD12M в формате webdataset для обучения генеративных и мультимодальных моделей.
Что внутри
Это скачанный и переупакованный в tar-архивы формата webdataset вариант открытого датасета Spawning/PD12M с разрешения его авторов. Внутри содержится от 10 до 100 миллионов пар из изображений и текстовых описаний на английском языке. Данные организованы так, чтобы их можно было напрямую стримить по URL без полного предварительного скачивания.
Что можно сделать
- Предобучение и дообучение моделей генерации изображений по тексту
- Обучение мультимодальных энкодеров вроде CLIP на очищенных от копирайта данных
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 29,1 тыс.
- Лайков
- 21
Как загрузить
from datasets import load_dataset
ds = load_dataset("Spawning/pd12m-full")