Датасет · allenai
Длинные и подробные описания изображений для VLM
allenai/pixmo-cap
Сотни тысяч картинок с детальными текстами в среднем по 200 слов и исходными расшифровками речи.
Что внутри
Датасет содержит от 100 тысяч до 1 миллиона пар из изображений и очень подробных текстовых описаний (в среднем около 200 слов). Для его создания разметчики наговаривали голосом всё, что видят на картинке в течение 60–90 секунд, а затем модель Claude превращала расшифровку в связный текст. Сами аудиорасшифровки также включены в состав набора данных. Набор входит в коллекцию PixMo и использовался при обучении семейства мультимодальных моделей Molmo.
Что можно сделать
- Предобучение и дообучение (SFT) мультимодальных моделей (VLM) для генерации подробных описаний
- Снижение галлюцинаций в vision-language моделях за счёт обучения на детальной разметке
- Задачи
- Картинка → текст
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,5 тыс.
- Лайков
- 49
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/pixmo-cap")