Датасет · HKUSTAudio
Мультизадачный аудиодатасет для instruction-tuning
HKUSTAudio/Audio-FLAN-Dataset
Огромный корпус Audio-FLAN на английском и китайском для понимания и генерации речи, музыки и звуков.
Что внутри
Масштабный датасет для instruction-tuning моделей, работающих со звуком (от 10 до 100 миллионов записей на английском и китайском языках). Внутри лежат аудиофайлы и метаданные в формате jsonl, разделенные по категориям: речь, музыка и общие звуки (например, городские сцены из TAU и данные из AudioSet). Авторы отмечают, что полная загрузка файлов еще продолжается.
Что можно сделать
- Обучить единую аудиомодель для распознавания речи (ASR) и синтеза (TTS)
- Натренировать систему генерации звуковых эффектов и музыки по текстовому описанию
- Провести instruction-tuning мультимодальной модели для понимания любых типов аудио
- Задачи
- Синтез речи, Текст → аудио, Распознавание речи
- Языки
- Английский, Китайский
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 867
- Лайков
- 47
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("HKUSTAudio/Audio-FLAN-Dataset")