Датасет · cvssp
Текстовые описания аудиозаписей для мультимодальных моделей
cvssp/WavCaps
Англоязычные текстовые описания звуков, сгенерированные с помощью ChatGPT для исследований на стыке аудио и текста.
Что внутри
Это датасет со слабой разметкой (weakly-labelled) для задач описания аудио на английском языке, созданный с привлечением ChatGPT. Сами аудиоклипы изначально взяты из открытых источников FreeSound, BBC Sound Effects, SoundBible, а также из размеченной части набора AudioSet. В карточке представлены текстовые метаданные и описания звуковых событий.
Что можно сделать
- Обучение моделей генерации текстовых описаний по звуку (audio captioning)
- Мультимодальные исследования по связыванию текста и аудиособытий
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 21,5 тыс.
- Лайков
- 56
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("cvssp/WavCaps")