К содержимому

Датасет · allenai

Смесь данных для предобучения робототехнических моделей

allenai/MolmoAct-Pretraining-Mixture

Мультимодальный корпус траекторий и рассуждений о действиях для обучения моделей управления роботами-манипуляторами.

Что внутри

Датасет от Allen Institute for AI содержит от 10 до 100 миллионов примеров в формате пар изображений и текста, использованных для предобучения открытой модели MolmoAct. В состав входят подмножество OXE, переработанное в формат рассуждений о действиях (Action Reasoning Data), вспомогательные данные роботов и ссылки на мультимодальные веб-данные. Отдельно упоминается набор из 10 тысяч высококачественных траекторий однорукого робота Franka, выполняющего 93 уникальные задачи.

Что можно сделать

  • Предобучение мультимодальных моделей (VLA) для управления роботами-манипуляторами
  • Обучение систем планирования и рассуждения о физических действиях по визуальным данным
  • Дообучение моделей роботизированной манипуляции на траекториях робота Franka
Задачи
Робототехника
Размер
10M–100M записей
Скачиваний за месяц
19,8 тыс.
Лайков
14

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/MolmoAct-Pretraining-Mixture")