Датасет · allenai
Смесь данных для предобучения робототехнических моделей
allenai/MolmoAct-Pretraining-Mixture
Мультимодальный корпус траекторий и рассуждений о действиях для обучения моделей управления роботами-манипуляторами.
Что внутри
Датасет от Allen Institute for AI содержит от 10 до 100 миллионов примеров в формате пар изображений и текста, использованных для предобучения открытой модели MolmoAct. В состав входят подмножество OXE, переработанное в формат рассуждений о действиях (Action Reasoning Data), вспомогательные данные роботов и ссылки на мультимодальные веб-данные. Отдельно упоминается набор из 10 тысяч высококачественных траекторий однорукого робота Franka, выполняющего 93 уникальные задачи.
Что можно сделать
- Предобучение мультимодальных моделей (VLA) для управления роботами-манипуляторами
- Обучение систем планирования и рассуждения о физических действиях по визуальным данным
- Дообучение моделей роботизированной манипуляции на траекториях робота Franka
- Задачи
- Робототехника
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 19,8 тыс.
- Лайков
- 14
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/MolmoAct-Pretraining-Mixture")