openai/gdpval
датасет для оценки ИИ на реальных рабочих задачах
2 мин чтения
Официальный набор данных от OpenAI, созданный для проверки того, насколько хорошо нейросети справляются с экономически значимыми задачами из реальной практики. Внутри собрано 220 кейсов из 44 различных профессий: от юриспруденции и политики до кино и литературы. В отличие от абстрактных академических тестов, каждое задание состоит из текстового промпта и набора сопутствующих справочных файлов (документов, изображений и видео), с которыми модели приходится работать в связке. Датасет пригодится разработчикам LLM и мультимодальных ассистентов для честной проверки прикладных навыков моделей.
Ключевые особенности
- 220 прикладных задач: задания охватывают 44 реальные профессии и моделируют настоящую рабочую нагрузку.
- Контекст из файлов: каждый кейс включает не только текстовый запрос, но и вспомогательные справочные материалы.
- Без искусственной цензуры: в наборе сохранены задачи со сложными, политическими или 18+ темами, так как они реально встречаются в работе юристов, сценаристов и других специалистов.
- Защита от утечек в обучение: датасет снабжён специальной canary-меткой (уникальной строкой для отслеживания попадания тестов в обучающие выборки).
Что можно сделать
- Проверить свою LLM или VLM: протестировать, как модель справляется с многосоставными рабочими поручениями с опорой на приложенные файлы.
- Оценить ИИ-агентов: использовать задачи как полигон для систем, которым нужно анализировать документы и медиа для принятия решений.
- Сравнить разные модели: провести собственный бенчмаркинг коммерческих и open-source моделей на прикладных бизнес-сценариях.
Пример
from datasets import load_dataset
dataset = load_dataset("openai/gdpval")
print(dataset)
Подробнее
Объём: 220 задач по 44 профессиям (размер n<1K).Состав: текстовые промпты и справочные файлы (включая изображения и видео с ИИ-генерированными или согласованными людьми).
Особенности: содержит упоминания брендов в исследовательских целях, а также политический и NSFW-контент, отражающий специфику профессий.








Комментарии