Датасет · LeoFan01
Бенчмарк RoboBench для оценки MLLM в задачах робототехники
LeoFan01/RoboBench
Набор мультимодальных тестов на английском языке для проверки того, насколько хорошо языковые модели с поддержкой изображений рассуждают в сценариях робототехники.
Что внутри
Датасет содержит до 1 тысячи примеров на английском языке, включающих изображения и текст. Это оценочный бенчмарк для проверки мультимодальных больших языковых моделей (MLLM) в роли «воплощённого интеллекта» (embodied brain). Данные организованы как систематический фреймворк для анализа понимания и логических рассуждений в робототехнических сценариях.
Что можно сделать
- Тестирование мультимодальных LLM (VQA) в сценариях управления роботами
- Сравнение способности разных MLLM анализировать визуальные сцены и планировать действия
- Валидация моделей для задач embodied AI
- Задачи
- Робототехника, Вопросы по картинкам
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 20,4 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("LeoFan01/RoboBench")