Датасет · HelenPeng
Бенчмарк генерации исполняемого кода 3D-миров
HelenPeng/ExeWorldBench
Мультимодальный бенчмарк на английском языке для оценки того, умеют ли модели писать рабочий код 3D-сцен.
Что внутри
Набор данных содержит от 1 до 10 тысяч примеров с текстом и изображениями на английском языке. В отличие от обычной визуальной генерации, бенчмарк проверяет способность моделей понимать устройство мира и воссоздавать рабочую 3D-среду в виде исполняемого кода.
Что можно сделать
- Оценка мультимодальных моделей (VLM) на задачах генерации 3D-сцен по тексту и картинке
- Сравнение LLM по способности писать корректный исполняемый код для 3D-окружений
- Тестирование пространственного мышления и понимания физики/структуры объектов у ИИ
- Задачи
- Генерация текста, Картинка + текст
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 1,6 тыс.
- Лайков
- 41
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HelenPeng/ExeWorldBench")