К содержимому

Датасет · zhicao

Видео манипуляций от первого лица с датчиками силы пальцев

zhicao/EgoForce

Синхронизированные видео и показания тактильных перчаток для переноса мелкой моторики человека на роботов.

Что внутри

Крупный датасет (от 10 до 100 тысяч записей), представленный в рамках работы над мультимодальной моделью FACT. Каждая запись объединяет стереовидео с камеры на голове и видео с двух камер на запястьях с данными перчаток: силой нажатия, давлением, сгибом и ориентацией каждого пальца обеих рук, выровненными покадрово. Собрано для обучения робототехнических систем.

Что можно сделать

  • Обучение мультимодальных моделей управления роботами (манипуляторами) с учётом тактильной обратной связи
  • Классификация действий рук на видео от первого лица (egocentric video)
  • Предсказание силы нажатия и положения пальцев по визуальным данным
Задачи
Робототехника, Классификация видео
Размер
10K–100K записей
Скачиваний за месяц
13,6 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("zhicao/EgoForce")