К содержимому

Датасет · allenai

Мультимодальные данные для обучения роботов манипуляциям

allenai/MolmoAct-Midtraining-Mixture

Смесь изображений и текстов для этапа midtraining открытой робототехнической модели MolmoAct от Allen Institute for AI.

Что внутри

Содержит от 1 до 10 миллионов записей (изображения и текст) для обучения рассуждениям о действиях в робототехнике. В основе лежит часть базы OXE и 10 тысяч траекторий однорукого робота Franka, выполняющего 93 задачи по манипуляции предметами дома и на столе.

Что можно сделать

  • Обучение мультимодальных моделей управления роботами-манипуляторами
  • Тренировка систем планирования и рассуждения о физических действиях (action reasoning)
Задачи
Робототехника
Размер
1M–10M записей
Скачиваний за месяц
75,3 тыс.
Лайков
11

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/MolmoAct-Midtraining-Mixture")