К содержимому

Датасет · MINT-SJTU

Видеодатасет для анализа ошибок роботов-манипуляторов

MINT-SJTU/RoboFAC-dataset

Более 10 тысяч видео и 78 тысяч вопросов-ответов для обучения роботов находить и исправлять свои ошибки.

Что внутри

Мультимодальный VQA-датасет на английском языке из научной работы RoboFAC. Включает свыше 10 тысяч видеозаписей манипуляций роботов в симуляции и реальном мире, дополненных 78 623 парами вопросов и ответов для анализа причин сбоев и их коррекции.

Что можно сделать

  • Обучение мультимодальных моделей (video-text-to-text) диагностике сбоев роботов
  • Создание систем самокоррекции действий для роботизированных манипуляторов
Задачи
Видео + текст
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
22 тыс.
Лайков
8

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("MINT-SJTU/RoboFAC-dataset")