К содержимому

Датасет · google

Бенчмарк инженерных задач от Google

google/physical-engineerings-last-exam

Набор сложных многошаговых задач от практикующих инженеров для оценки ИИ-агентов.

Что внутри

Внутри находятся инженерные задачи по 4 дисциплинам на английском языке, созданные лицензированными специалистами. В каждой задаче агенту нужно работать в рабочей среде с чертежами, спецификациями, таблицами и CAD/BIM-инструментами, чтобы готовить расчёты, код, модели и отчёты. В репозитории выложен dev-набор объёмом менее 1000 примеров.

Что можно сделать

  • Оценка автономных ИИ-агентов в сложных инженерных и CAD/BIM-задачах
  • Тестирование способности моделей работать с чертежами, кодом и расчётами
  • Бенчмаркинг мультимодальных LLM для технического проектирования
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
316,3 тыс.
Лайков
184
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/physical-engineerings-last-exam")