К содержимому

Датасет · ServiceNow

Видеозаписи работы за компьютером с разметкой

ServiceNow/VideoCUA

55 часов видео работы экспертов в десктопных программах с ручной разметкой для обучения компьютерных агентов.

Что внутри

Внутри собрано около 10 тысяч задач по управлению компьютером на английском языке — это 55 часов непрерывной записи экрана с частотой 30 кадров в секунду (6 миллионов кадров). Данные охватывают 87 профессиональных десктопных приложений и размечены людьми вручную. Корпус выпущен командой ServiceNow в рамках проекта CUA-Suite.

Что можно сделать

  • Обучение мультимодальных агентов (VLM / Computer-Use Agents) управлять графическим интерфейсом
  • Тренировка моделей понимать последовательность действий пользователя по видеопотоку
  • Оценка точности распознавания элементов интерфейса и действий в десктопных программах
Задачи
Видео + текст
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
4,3 тыс.
Лайков
33

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("ServiceNow/VideoCUA")