К содержимому

Датасет · showlab

Скриншоты десктопа для обучения GUI-агентов

showlab/ShowUI-desktop

Набор скриншотов ПК с разметкой элементов интерфейса и описаниями от GPT-4o для задач UI-grounding.

Что внутри

Датасет включает от 1 до 10 тысяч примеров (около 8 тысяч в названии набора), сочетающих изображения, текст и временные ряды. Скриншоты и базовая разметка взяты из OmniAct, а затем дополнены с помощью GPT-4o описаниями внешнего вида, пространственных связей и назначения элементов интерфейса.

Что можно сделать

  • Обучение мультимодальных агентов находить и нажимать элементы интерфейса на ПК
  • Дообучение VLM-моделей для понимания структуры десктопных приложений
Размер
1K–10K записей
Скачиваний за месяц
2,6 тыс.
Лайков
37

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("showlab/ShowUI-desktop")