Датасет · mmm8383
795 часов видео от первого лица с очков Project Aria
mmm8383/NextMe-800
Повседневная жизнь одного человека за 114 дней с кадрами, взглядом, аудио и разметкой действий.
Что внутри
Корпус содержит 527 записей (795 часов) повседневной жизни одного человека, снятых на очки Project Aria в 2026 году на английском и китайском языках. Внутри лежат RGB-кадры 2880×2880 с частотой ~1 кадр/с, данные о направлении взгляда, аудио с транскриптами, подробные текстовые описания и пятиуровневая иерархия активностей. В состав также входит бенчмарк NextAct из 1500 точек для оценки предсказания следующего действия.
Что можно сделать
- Обучение мультимодальных видео-языковых моделей (VLM) пониманию действий от первого лица
- Разработка ассистентов, предугадывающих следующие шаги пользователя по видео и взгляду
- Оценка моделей на бенчмарке предсказания поведения NextAct
- Задачи
- Видео + текст, Генерация текста
- Языки
- Английский, Китайский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 2,3 тыс.
- Лайков
- 4
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("mmm8383/NextMe-800")