Датасет · nvidia
Детальные описания объектов на фото и видео от NVIDIA
nvidia/describe-anything-dataset
Англоязычный мультимодальный датасет для обучения моделей подробно описывать конкретные области на изображениях и в видео.
Что внутри
Набор данных собран исследователями из NVIDIA, UC Berkeley и UCSF для тренировки моделей семейства Describe Anything (DAM). Внутри от 100 тысяч до 1 миллиона примеров на английском языке, охватывающих изображения, видео и текстовые аннотации. Материалы упакованы в tar-архивы и фокусируются на локализованном описании отдельных элементов сцены.
Что можно сделать
- Обучение VLM-моделей (image-to-text и video-to-text) детальному описанию объектов по выделенной области
- Создание систем автоматического аннотирования и поиска по видеоконтенту
- Задачи
- Картинка → текст, Видео + текст
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 4,8 тыс.
- Лайков
- 60
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("nvidia/describe-anything-dataset")