К содержимому

Датасет · laion

Огромный корпус коротких аудио с текстовыми описаниями

laion/laion-audio-xl

Более 366 млн аудиофрагментов с подписями, на которых обучались модели LAION CLAP2.

Что внутри

Масштабный набор из 366 007 518 аудиоклипов длительностью до 30 секунд с текстовыми описаниями, собранный из 462 исходных датасетов. Непосредственно в репозитории в виде аудиофайлов хранится более 4,3 млн записей (разделенных по типам лицензий), а остальные 361,6 млн представлены в виде ссылок с теми же описаниями и полями анализа. Представлены модальности аудио, текста и табличных данных.

Что можно сделать

  • Обучение мультимодальных моделей связыванию звука и текста (по типу CLAP)
  • Тренировка моделей генерации аудио по текстовому описанию (text-to-audio)
  • Извлечение аудиопризнаков и классификация звуков
Задачи
Классификация аудио, Текст → аудио, Эмбеддинги
Размер
100M–1B записей
Скачиваний за месяц
24,9 тыс.
Лайков
85
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("laion/laion-audio-xl")