Датасет · allenai
Разметка точек на изображениях по текстовым запросам
allenai/pixmo-points
Миллионы пар из картинок, описаний объектов и координат точек для обучения моделей указывать на детали.
Что внутри
В наборе от 1 до 10 миллионов записей, состоящих из изображений, ссылочных выражений (описаний объектов или областей) и точных координат точек, на которые эти описания указывают. Данные собраны вручную людьми-разметчиками и содержат большое разнообразие запросов, включая частые категории объектов (более 10 упоминаний). Датасет входит в серию PixMo и применялся для обучения мультимодальных моделей Molmo навыку точного указания на элементы картинки.
Что можно сделать
- Обучение vision-language моделей находить и отмечать точками конкретные объекты по текстовому запросу
- Создание UI-агентов и систем визуальной навигации, которым нужно кликать по нужным элементам экрана
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 2,4 тыс.
- Лайков
- 49
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/pixmo-points")