К содержимому

Датасет · ServiceNow

Траектории GUI-агентов для оценки LLM-судей в ОС

ServiceNow/AgentHorizon

Бенчмарк от ServiceNow со скриншотами и длинными цепочками действий компьютерных агентов для проверки моделей-оценщиков.

Что внутри

В датасете от 100 тысяч до 1 миллиона записей работы GUI-агентов, пытающихся выполнить сложные многошаговые задачи на рабочем столе (обычно от 100 до 300+ шагов). Каждый пример включает текстовую инструкцию, последовательность действий, скриншоты экрана и эталонную метку успеха или провала выполнения задачи.

Что можно сделать

  • Оценка и калибровка LLM-судей, определяющих успешность выполнения задач компьютерными агентами
  • Обучение моделей-критиков (reward models) для систем автоматизации действий в графическом интерфейсе
Размер
100K–1M записей
Скачиваний за месяц
81 тыс.
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("ServiceNow/AgentHorizon")