Датасет · google
Бенчмарк инженерных задач от Google
google/physical-engineerings-last-exam
Набор сложных многошаговых задач от практикующих инженеров для оценки ИИ-агентов.
Что внутри
Внутри находятся инженерные задачи по 4 дисциплинам на английском языке, созданные лицензированными специалистами. В каждой задаче агенту нужно работать в рабочей среде с чертежами, спецификациями, таблицами и CAD/BIM-инструментами, чтобы готовить расчёты, код, модели и отчёты. В репозитории выложен dev-набор объёмом менее 1000 примеров.
Что можно сделать
- Оценка автономных ИИ-агентов в сложных инженерных и CAD/BIM-задачах
- Тестирование способности моделей работать с чертежами, кодом и расчётами
- Бенчмаркинг мультимодальных LLM для технического проектирования
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 316,3 тыс.
- Лайков
- 184
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/physical-engineerings-last-exam")