К содержимому

Датасет · allenai

Длинные и подробные описания изображений для VLM

allenai/pixmo-cap

Сотни тысяч картинок с детальными текстами в среднем по 200 слов и исходными расшифровками речи.

Что внутри

Датасет содержит от 100 тысяч до 1 миллиона пар из изображений и очень подробных текстовых описаний (в среднем около 200 слов). Для его создания разметчики наговаривали голосом всё, что видят на картинке в течение 60–90 секунд, а затем модель Claude превращала расшифровку в связный текст. Сами аудиорасшифровки также включены в состав набора данных. Набор входит в коллекцию PixMo и использовался при обучении семейства мультимодальных моделей Molmo.

Что можно сделать

  • Предобучение и дообучение (SFT) мультимодальных моделей (VLM) для генерации подробных описаний
  • Снижение галлюцинаций в vision-language моделях за счёт обучения на детальной разметке
Задачи
Картинка → текст
Размер
100K–1M записей
Скачиваний за месяц
1,5 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/pixmo-cap")