К содержимому

Датасет · cvssp

Текстовые описания аудиозаписей для мультимодальных моделей

cvssp/WavCaps

Англоязычные текстовые описания звуков, сгенерированные с помощью ChatGPT для исследований на стыке аудио и текста.

Что внутри

Это датасет со слабой разметкой (weakly-labelled) для задач описания аудио на английском языке, созданный с привлечением ChatGPT. Сами аудиоклипы изначально взяты из открытых источников FreeSound, BBC Sound Effects, SoundBible, а также из размеченной части набора AudioSet. В карточке представлены текстовые метаданные и описания звуковых событий.

Что можно сделать

  • Обучение моделей генерации текстовых описаний по звуку (audio captioning)
  • Мультимодальные исследования по связыванию текста и аудиособытий
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
21,5 тыс.
Лайков
56

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("cvssp/WavCaps")