Датасет · ServiceNow
Траектории GUI-агентов для оценки LLM-судей в ОС
ServiceNow/AgentHorizon
Бенчмарк от ServiceNow со скриншотами и длинными цепочками действий компьютерных агентов для проверки моделей-оценщиков.
Что внутри
В датасете от 100 тысяч до 1 миллиона записей работы GUI-агентов, пытающихся выполнить сложные многошаговые задачи на рабочем столе (обычно от 100 до 300+ шагов). Каждый пример включает текстовую инструкцию, последовательность действий, скриншоты экрана и эталонную метку успеха или провала выполнения задачи.
Что можно сделать
- Оценка и калибровка LLM-судей, определяющих успешность выполнения задач компьютерными агентами
- Обучение моделей-критиков (reward models) для систем автоматизации действий в графическом интерфейсе
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 81 тыс.
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("ServiceNow/AgentHorizon")