К содержимому

Датасет · JobBench

Бенчмарк офисных задач для ИИ-агентов по 35 профессиям

JobBench/job-bench

Набор реальных рабочих заданий с документами и критериями оценки для проверки способностей ИИ-агентов.

Что внутри

Включает менее 1 тысячи примеров: промпты, справочные файлы, взвешенные рубрики оценки и описания задач для ~35 офисных профессий. Разделен на две части: main (65 полных задач, часть из которых требует поиска нужных файлов в папке) и easy (63 упрощенных задания без поиска).

Что можно сделать

  • Оценка навыков автономных ИИ-агентов по поиску информации и работе с документами
  • Быстрое дымовое тестирование и сравнение моделей на упрощенном сплите easy
Размер
до 1K записей
Скачиваний за месяц
80,8 тыс.
Лайков
12

Как загрузить

from datasets import load_dataset

ds = load_dataset("JobBench/job-bench")