Датасет · MINT-SJTU
Видеодатасет для анализа ошибок роботов-манипуляторов
MINT-SJTU/RoboFAC-dataset
Более 10 тысяч видео и 78 тысяч вопросов-ответов для обучения роботов находить и исправлять свои ошибки.
Что внутри
Мультимодальный VQA-датасет на английском языке из научной работы RoboFAC. Включает свыше 10 тысяч видеозаписей манипуляций роботов в симуляции и реальном мире, дополненных 78 623 парами вопросов и ответов для анализа причин сбоев и их коррекции.
Что можно сделать
- Обучение мультимодальных моделей (video-text-to-text) диагностике сбоев роботов
- Создание систем самокоррекции действий для роботизированных манипуляторов
- Задачи
- Видео + текст
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 22 тыс.
- Лайков
- 8
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MINT-SJTU/RoboFAC-dataset")