Датасет · allenai
Мультимодальные данные для обучения роботов манипуляциям
allenai/MolmoAct-Midtraining-Mixture
Смесь изображений и текстов для этапа midtraining открытой робототехнической модели MolmoAct от Allen Institute for AI.
Что внутри
Содержит от 1 до 10 миллионов записей (изображения и текст) для обучения рассуждениям о действиях в робототехнике. В основе лежит часть базы OXE и 10 тысяч траекторий однорукого робота Franka, выполняющего 93 задачи по манипуляции предметами дома и на столе.
Что можно сделать
- Обучение мультимодальных моделей управления роботами-манипуляторами
- Тренировка систем планирования и рассуждения о физических действиях (action reasoning)
- Задачи
- Робототехника
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 75,3 тыс.
- Лайков
- 11
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/MolmoAct-Midtraining-Mixture")