Датасет · kdexd
12 млн пар «картинка-описание» с Reddit
kdexd/red_caps
Крупный англоязычный корпус из 12 млн изображений и подписей из 350 сабреддитов для задач image-to-text.
Что внутри
Внутри лежит 12 миллионов пар из изображений и текстовых подписей на английском языке. Данные собраны с Reddit из 350 вручную отобранных сабреддитов, тематика которых служит грубой разметкой без ручной аннотации каждого примера. Картинки и описания охватывают широкий набор объектов и сцен.
Что можно сделать
- Предобучение мультимодальных моделей и энкодеров вроде CLIP
- Обучение моделей генерации подписей к изображениям (image captioning)
- Дообучение визуально-языковых моделей на разнообразных бытовых сценах
- Задачи
- Картинка → текст
- Языки
- Английский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 60
Модели, обученные на нём
- hanxunh/clip_backdoor_rn50_redcaps_clean_labelzero shot image classification 26
- hanxunh/clip_backdoor_rn50_redcaps_blendzero shot image classification 19
- hanxunh/clip_backdoor_rn50_redcaps_nashvillezero shot image classification 19
- hanxunh/clip_backdoor_rn50_redcaps_badnetszero shot image classification 15
- hanxunh/clip_backdoor_rn50_redcaps_sigzero shot image classification 14
- hanxunh/clip_backdoor_rn50_redcaps_wanetzero shot image classification 12
Как загрузить
from datasets import load_dataset
ds = load_dataset("kdexd/red_caps")