К содержимому

Датасет · nvidia

Детальные описания объектов на фото и видео от NVIDIA

nvidia/describe-anything-dataset

Англоязычный мультимодальный датасет для обучения моделей подробно описывать конкретные области на изображениях и в видео.

Что внутри

Набор данных собран исследователями из NVIDIA, UC Berkeley и UCSF для тренировки моделей семейства Describe Anything (DAM). Внутри от 100 тысяч до 1 миллиона примеров на английском языке, охватывающих изображения, видео и текстовые аннотации. Материалы упакованы в tar-архивы и фокусируются на локализованном описании отдельных элементов сцены.

Что можно сделать

  • Обучение VLM-моделей (image-to-text и video-to-text) детальному описанию объектов по выделенной области
  • Создание систем автоматического аннотирования и поиска по видеоконтенту
Задачи
Картинка → текст, Видео + текст
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
4,8 тыс.
Лайков
60

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("nvidia/describe-anything-dataset")