Датасет · JobBench
Бенчмарк офисных задач для ИИ-агентов по 35 профессиям
JobBench/job-bench
Набор реальных рабочих заданий с документами и критериями оценки для проверки способностей ИИ-агентов.
Что внутри
Включает менее 1 тысячи примеров: промпты, справочные файлы, взвешенные рубрики оценки и описания задач для ~35 офисных профессий. Разделен на две части: main (65 полных задач, часть из которых требует поиска нужных файлов в папке) и easy (63 упрощенных задания без поиска).
Что можно сделать
- Оценка навыков автономных ИИ-агентов по поиску информации и работе с документами
- Быстрое дымовое тестирование и сравнение моделей на упрощенном сплите easy
- Размер
- до 1K записей
- Скачиваний за месяц
- 80,8 тыс.
- Лайков
- 12
Как загрузить
from datasets import load_dataset
ds = load_dataset("JobBench/job-bench")