К содержимому

Датасет · HelenPeng

Бенчмарк генерации исполняемого кода 3D-миров

HelenPeng/ExeWorldBench

Мультимодальный бенчмарк на английском языке для оценки того, умеют ли модели писать рабочий код 3D-сцен.

Что внутри

Набор данных содержит от 1 до 10 тысяч примеров с текстом и изображениями на английском языке. В отличие от обычной визуальной генерации, бенчмарк проверяет способность моделей понимать устройство мира и воссоздавать рабочую 3D-среду в виде исполняемого кода.

Что можно сделать

  • Оценка мультимодальных моделей (VLM) на задачах генерации 3D-сцен по тексту и картинке
  • Сравнение LLM по способности писать корректный исполняемый код для 3D-окружений
  • Тестирование пространственного мышления и понимания физики/структуры объектов у ИИ
Задачи
Генерация текста, Картинка + текст
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
1,6 тыс.
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HelenPeng/ExeWorldBench")