Датасет · McGill-NLP
Бенчмарк оценки автопроверок веб-агентов
McGill-NLP/agent-reward-bench
Набор из 1–10 тыс. траекторий веб-агентов на английском языке для проверки качества автоматических оценщиков.
Что внутри
Датасет AgentRewardBench от исследователей McGill NLP предназначен для оценки систем, которые автоматически проверяют действия веб-агентов. Корпус содержит от 1 000 до 10 000 записей на английском языке, включающих текстовые данные и изображения (скриншоты веб-траекторий). Проект сопровождается научной статьёй, кодом и таблицей лидеров.
Что можно сделать
- Оценка и калибровка LLM-судей (LLM-as-a-Judge) и reward-моделей для веб-агентов
- Разработка более надёжных метрик успешности выполнения задач в браузере
- Анализ ошибок автоматических верификаторов при работе с GUI и веб-интерфейсами
- Задачи
- Робототехника
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 22,3 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("McGill-NLP/agent-reward-bench")