К содержимому

Датасет · allenai

Разметка точек на изображениях по текстовым запросам

allenai/pixmo-points

Миллионы пар из картинок, описаний объектов и координат точек для обучения моделей указывать на детали.

Что внутри

В наборе от 1 до 10 миллионов записей, состоящих из изображений, ссылочных выражений (описаний объектов или областей) и точных координат точек, на которые эти описания указывают. Данные собраны вручную людьми-разметчиками и содержат большое разнообразие запросов, включая частые категории объектов (более 10 упоминаний). Датасет входит в серию PixMo и применялся для обучения мультимодальных моделей Molmo навыку точного указания на элементы картинки.

Что можно сделать

  • Обучение vision-language моделей находить и отмечать точками конкретные объекты по текстовому запросу
  • Создание UI-агентов и систем визуальной навигации, которым нужно кликать по нужным элементам экрана
Размер
1M–10M записей
Скачиваний за месяц
2,4 тыс.
Лайков
49

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/pixmo-points")