К содержимому
Датасеты

openai/gdpval

датасет для оценки ИИ на реальных рабочих задачах

2 мин чтения

Официальный набор данных от OpenAI, созданный для проверки того, насколько хорошо нейросети справляются с экономически значимыми задачами из реальной практики. Внутри собрано 220 кейсов из 44 различных профессий: от юриспруденции и политики до кино и литературы. В отличие от абстрактных академических тестов, каждое задание состоит из текстового промпта и набора сопутствующих справочных файлов (документов, изображений и видео), с которыми модели приходится работать в связке. Датасет пригодится разработчикам LLM и мультимодальных ассистентов для честной проверки прикладных навыков моделей.

Ключевые особенности

  • 220 прикладных задач: задания охватывают 44 реальные профессии и моделируют настоящую рабочую нагрузку.
  • Контекст из файлов: каждый кейс включает не только текстовый запрос, но и вспомогательные справочные материалы.
  • Без искусственной цензуры: в наборе сохранены задачи со сложными, политическими или 18+ темами, так как они реально встречаются в работе юристов, сценаристов и других специалистов.
  • Защита от утечек в обучение: датасет снабжён специальной canary-меткой (уникальной строкой для отслеживания попадания тестов в обучающие выборки).

Что можно сделать

  • Проверить свою LLM или VLM: протестировать, как модель справляется с многосоставными рабочими поручениями с опорой на приложенные файлы.
  • Оценить ИИ-агентов: использовать задачи как полигон для систем, которым нужно анализировать документы и медиа для принятия решений.
  • Сравнить разные модели: провести собственный бенчмаркинг коммерческих и open-source моделей на прикладных бизнес-сценариях.

Пример

from datasets import load_dataset

dataset = load_dataset("openai/gdpval")
print(dataset)
ПодробнееОбъём: 220 задач по 44 профессиям (размер n<1K).
Состав: текстовые промпты и справочные файлы (включая изображения и видео с ИИ-генерированными или согласованными людьми).
Особенности: содержит упоминания брендов в исследовательских целях, а также политический и NSFW-контент, отражающий специфику профессий.
Обсудить Telegram 576 261,2 тыс.

О модели

datasets/openai/gdpval
Автор
openai
Категория
Датасеты
Дата выхода
На сайте

На сайте

Hugging Face

261,2 тыс.576

Спросить нейросеть об этой модели

Отвечает Gemini 4 · переписка хранится только в этой вкладке

Комментарии

Датасеты

FineVision

FineVision
Датасеты

SmolLM-Corpus

SmolLM-Corpus
Датасеты

Emilia-Dataset

Emilia-Dataset