К содержимому

Датасет · pixparse

12 миллионов пар «изображение — текстовое описание»

pixparse/cc12m-wds

Крупный датасет Conceptual Captions 12M в формате WebDataset для предобучения мультимодальных моделей.

Что внутри

Датасет содержит 12 миллионов пар из изображений и текстовых подписей к ним. Это расширенная версия корпуса Conceptual Captions 3M (CC3M), собранная по более мягким правилам фильтрации. Данные упакованы в шарды формата WebDataset (.tar) для потокового чтения при обучении.

Что можно сделать

  • Предобучение мультимодальных моделей связки зрения и языка (CLIP, VLM)
  • Обучение моделей генерации текстовых описаний по картинке (image-to-text)
Задачи
Картинка → текст
Размер
10M–100M записей
Скачиваний за месяц
37,8 тыс.
Лайков
45

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("pixparse/cc12m-wds")