Датасет · ByteDance-Seed
Бенчмарк обучения автономных агентов
ByteDance-Seed/EdgeBench
134 реальные задачи, где агент учится в исполняемых средах по многоуровневой обратной связи за 12+ часов.
Что внутри
EdgeBench — бенчмарк из 134 реальных задач для оценки того, как автономные AI-агенты учатся из окружения. Агента помещают в исполняемые среды с реалистичной многоуровневой обратной связью и дают итеративно работать более 12 часов на задачу, отслеживая всю траекторию улучшени��. Публично открыты 51 задача; язык — английский.
Что можно сделать
- Оценивать agentic-системы на длинном горизонте
- Сравнивать стратегии обучения агентов по обратной связи
- Тестировать LLM-агентов в исполняемых средах
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 4,2 тыс.
- Лайков
- 86
Как загрузить
from datasets import load_dataset
ds = load_dataset("ByteDance-Seed/EdgeBench")