Датасет · openai
Бенчмарк GDPval для реальных рабочих задач
openai/gdpval
220 экспертных задач из 44 профессий с промптами и файлами для оценки ИИ на экономически значимых работах.
Что внутри
GDPval — датасет для оценки моделей на реальных экономически ценных задачах. Внутри 220 задач по 44 профессиям; каждая состоит из текстового промпта и набора вспомогательных файлов. Есть предупреждение о чувствительном и политическом контенте, включая NSFW-темы.
Что можно сделать
- Оценка LLM на практических рабочих задачах
- Сравнение моделей в бенчмарке GDPval
- Проверка агентных систем на работе с файлами
- Размер
- до 1K записей
- Скачиваний за месяц
- 282 тыс.
- Лайков
- 574
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openai/gdpval")