Датасет · laion
Огромный корпус коротких аудио с текстовыми описаниями
laion/laion-audio-xl
Более 366 млн аудиофрагментов с подписями, на которых обучались модели LAION CLAP2.
Что внутри
Масштабный набор из 366 007 518 аудиоклипов длительностью до 30 секунд с текстовыми описаниями, собранный из 462 исходных датасетов. Непосредственно в репозитории в виде аудиофайлов хранится более 4,3 млн записей (разделенных по типам лицензий), а остальные 361,6 млн представлены в виде ссылок с теми же описаниями и полями анализа. Представлены модальности аудио, текста и табличных данных.
Что можно сделать
- Обучение мультимодальных моделей связыванию звука и текста (по типу CLAP)
- Тренировка моделей генерации аудио по текстовому описанию (text-to-audio)
- Извлечение аудиопризнаков и классификация звуков
- Задачи
- Классификация аудио, Текст → аудио, Эмбеддинги
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 24,9 тыс.
- Лайков
- 85
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("laion/laion-audio-xl")