Датасет · facebook
70 млн пар «картинка-описание» от Facebook (PMD)
facebook/pmd
Крупный мультимодальный корпус на 70 миллионов пар изображение-текст на английском языке из известных открытых баз.
Что внутри
Датасет представляет собой сборник из 70 миллионов пар «изображение — текстовое описание» на английском языке, включающий 68 миллионов уникальных картинок. Корпус собран из множества известных открытых источников, среди которых COCO, Conceptual Captions (и 12M), WIT, Localized Narratives, RedCaps, SBU Captions, Visual Genome и часть YFCC100M. Впервые набор был представлен в научной статье о модели FLAVA.
Что можно сделать
- Предобучение мультимодальных моделей (VLM) и энкодеров вроде CLIP
- Обучение систем генерации описаний к изображениям (image captioning)
- Построение систем кросс-модального поиска картинок по текстовому запросу
- Задачи
- Картинка → текст
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 453
- Лайков
- 41
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- HuggingFaceM4/idefics-80b-instructГенерация текста 6,4 тыс.
- HuggingFaceM4/idefics2-8bКартинка + текст 5,4 тыс.
- HuggingFaceM4/idefics-9bГенерация текста 3,3 тыс.
- HuggingFaceM4/idefics-9b-instructГенерация текста 1,2 тыс.
- HuggingFaceM4/idefics2-8b-chattyКартинка + текст 538
- HuggingFaceM4/idefics-80bГенерация текста 223
- HuggingFaceM4/idefics2-8b-baseКартинка + текст 216
- HuggingFaceM4/idefics2-8b-AWQКартинка + текст 80
Как загрузить
from datasets import load_dataset
ds = load_dataset("facebook/pmd")