Датасет · ServiceNow
Скриншоты интерфейсов и разметка для ИИ-агентов
ServiceNow/GroundCUA
Крупный корпус скриншотов 87 программ со структурированной разметкой для обучения агентов управлению компьютером.
Что внутри
Массив объёмом от 1 до 10 миллионов записей включает реальные скриншоты интерфейсов на английском языке с подробной разметкой элементов. Данные собраны на основе действий людей и охватывают 87 программных платформ: офисные пакеты, браузеры, среды разработки, мессенджеры и системные утилиты. Датасет от ServiceNow создан для исследований в области графических интерфейсов (GUI).
Что можно сделать
- Обучение мультимодальных ИИ-агентов навигации и кликам в интерфейсах
- Тренировка моделей распознавания элементов управления на скриншотах
- Тестирование систем автоматизации работы в десктопных программах
- Задачи
- Картинка → текст
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 35,6 тыс.
- Лайков
- 46
Модели, обученные на нём
- sentimentalk/pixeltree-detectorДетекция объектов 90
- adriandj3/TernaryPilot-v1-Computer-Browser-Use-LoRAКартинка + текст 88
- zcyyyds/Qwen3.5-4B-GUI-EdgeКартинка + текст 41
- swaynehales/uitag-yolo11s-ui-detect-v1Детекция объектов 33
- kageroumado/rocuronium-ui-detectorДетекция объектов 15
- laywens/uitag-yolo11s-ui-detect-v1Детекция объектов 0
- ComputerUseAgents/yolo-ui-homework-experimentalДетекция объектов 0
- elidot007/S1-Fast 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("ServiceNow/GroundCUA")