К содержимому

Датасет · docling-project

1,21 млн размеченных скриншотов десктопа с кликами

docling-project/DeskForge-1M

Корпус скриншотов рабочих столов с разметкой элементов интерфейса и переходов по кликам для обучения GUI-агентов.

Что внутри

Внутри лежат 1,21 миллиона скриншотов десктопа на английском языке, на которых размечено 159,7 млн элементов интерфейса и 917 тысяч переходов по кликам. Данные сгенерированы в управляемой среде DeskForge с помощью реальных приложений. Авторами выступили исследователи из ETH Zurich, IBM Research Zurich и Microsoft.

Что можно сделать

  • Обучение VLM-агентов для автономной работы с интерфейсом компьютера
  • Детекция и парсинг элементов GUI на скриншотах
  • Оценка моделей управления десктопом по сценариям кликов
Задачи
Картинка → текст, Детекция объектов
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
25,3 тыс.
Лайков
52

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("docling-project/DeskForge-1M")