К содержимому

Датасет · mmm8383

795 часов видео от первого лица с очков Project Aria

mmm8383/NextMe-800

Повседневная жизнь одного человека за 114 дней с кадрами, взглядом, аудио и разметкой действий.

Что внутри

Корпус содержит 527 записей (795 часов) повседневной жизни одного человека, снятых на очки Project Aria в 2026 году на английском и китайском языках. Внутри лежат RGB-кадры 2880×2880 с частотой ~1 кадр/с, данные о направлении взгляда, аудио с транскриптами, подробные текстовые описания и пятиуровневая иерархия активностей. В состав также входит бенчмарк NextAct из 1500 точек для оценки предсказания следующего действия.

Что можно сделать

  • Обучение мультимодальных видео-языковых моделей (VLM) пониманию действий от первого лица
  • Разработка ассистентов, предугадывающих следующие шаги пользователя по видео и взгляду
  • Оценка моделей на бенчмарке предсказания поведения NextAct
Задачи
Видео + текст, Генерация текста
Языки
Английский, Китайский
Размер
1M–10M записей
Скачиваний за месяц
2,3 тыс.
Лайков
4
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("mmm8383/NextMe-800")