К содержимому

Датасет · McGill-NLP

Бенчмарк оценки автопроверок веб-агентов

McGill-NLP/agent-reward-bench

Набор из 1–10 тыс. траекторий веб-агентов на английском языке для проверки качества автоматических оценщиков.

Что внутри

Датасет AgentRewardBench от исследователей McGill NLP предназначен для оценки систем, которые автоматически проверяют действия веб-агентов. Корпус содержит от 1 000 до 10 000 записей на английском языке, включающих текстовые данные и изображения (скриншоты веб-траекторий). Проект сопровождается научной статьёй, кодом и таблицей лидеров.

Что можно сделать

  • Оценка и калибровка LLM-судей (LLM-as-a-Judge) и reward-моделей для веб-агентов
  • Разработка более надёжных метрик успешности выполнения задач в браузере
  • Анализ ошибок автоматических верификаторов при работе с GUI и веб-интерфейсами
Задачи
Робототехника
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
22,3 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("McGill-NLP/agent-reward-bench")