Датасет · docling-project
1,21 млн размеченных скриншотов десктопа с кликами
docling-project/DeskForge-1M
Корпус скриншотов рабочих столов с разметкой элементов интерфейса и переходов по кликам для обучения GUI-агентов.
Что внутри
Внутри лежат 1,21 миллиона скриншотов десктопа на английском языке, на которых размечено 159,7 млн элементов интерфейса и 917 тысяч переходов по кликам. Данные сгенерированы в управляемой среде DeskForge с помощью реальных приложений. Авторами выступили исследователи из ETH Zurich, IBM Research Zurich и Microsoft.
Что можно сделать
- Обучение VLM-агентов для автономной работы с интерфейсом компьютера
- Детекция и парсинг элементов GUI на скриншотах
- Оценка моделей управления десктопом по сценариям кликов
- Задачи
- Картинка → текст, Детекция объектов
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 25,3 тыс.
- Лайков
- 52
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("docling-project/DeskForge-1M")