К содержимому

Датасет · LeoFan01

Бенчмарк RoboBench для оценки MLLM в задачах робототехники

LeoFan01/RoboBench

Набор мультимодальных тестов на английском языке для проверки того, насколько хорошо языковые модели с поддержкой изображений рассуждают в сценариях робототехники.

Что внутри

Датасет содержит до 1 тысячи примеров на английском языке, включающих изображения и текст. Это оценочный бенчмарк для проверки мультимодальных больших языковых моделей (MLLM) в роли «воплощённого интеллекта» (embodied brain). Данные организованы как систематический фреймворк для анализа понимания и логических рассуждений в робототехнических сценариях.

Что можно сделать

  • Тестирование мультимодальных LLM (VQA) в сценариях управления роботами
  • Сравнение способности разных MLLM анализировать визуальные сцены и планировать действия
  • Валидация моделей для задач embodied AI
Задачи
Робототехника, Вопросы по картинкам
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
20,4 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("LeoFan01/RoboBench")