К содержимому

Датасет · facebook

70 млн пар «картинка-описание» от Facebook (PMD)

facebook/pmd

Крупный мультимодальный корпус на 70 миллионов пар изображение-текст на английском языке из известных открытых баз.

Что внутри

Датасет представляет собой сборник из 70 миллионов пар «изображение — текстовое описание» на английском языке, включающий 68 миллионов уникальных картинок. Корпус собран из множества известных открытых источников, среди которых COCO, Conceptual Captions (и 12M), WIT, Localized Narratives, RedCaps, SBU Captions, Visual Genome и часть YFCC100M. Впервые набор был представлен в научной статье о модели FLAVA.

Что можно сделать

  • Предобучение мультимодальных моделей (VLM) и энкодеров вроде CLIP
  • Обучение систем генерации описаний к изображениям (image captioning)
  • Построение систем кросс-модального поиска картинок по текстовому запросу
Задачи
Картинка → текст
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
453
Лайков
41
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("facebook/pmd")