К содержимому

Датасет · Salesforce

218 млн пар картинок и подробных описаний от Salesforce

Salesforce/blip3-kale

Крупный открытый датасет из 218 млн изображений с развёрнутыми описаниями, дополненными фактами из веба.

Что внутри

Открытый датасет от Salesforce включает 218 миллионов пар «изображение — текст» (в метаданных указан диапазон от 100M до 1B и модальности image, text, tabular). Описания на английском языке представляют собой подробные текстовые аннотации (dense captions), обогащённые фактическими знаниями из веб-источников. Набор создан для исследований в области мультимодального претрейна.

Что можно сделать

  • Мультимодальный претрейн крупных vision-language моделей (VLM)
  • Обучение систем генерации подробных и фактологически точных описаний изображений
  • Дообучение моделей для задач image-to-text с опорой на внешние знания
Задачи
Картинка → текст
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
2,9 тыс.
Лайков
48

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("Salesforce/blip3-kale")