Датасет · showlab
Скриншоты десктопа для обучения GUI-агентов
showlab/ShowUI-desktop
Набор скриншотов ПК с разметкой элементов интерфейса и описаниями от GPT-4o для задач UI-grounding.
Что внутри
Датасет включает от 1 до 10 тысяч примеров (около 8 тысяч в названии набора), сочетающих изображения, текст и временные ряды. Скриншоты и базовая разметка взяты из OmniAct, а затем дополнены с помощью GPT-4o описаниями внешнего вида, пространственных связей и назначения элементов интерфейса.
Что можно сделать
- Обучение мультимодальных агентов находить и нажимать элементы интерфейса на ПК
- Дообучение VLM-моделей для понимания структуры десктопных приложений
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 37
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("showlab/ShowUI-desktop")