К содержимому

Датасет · HKUSTAudio

Мультизадачный аудиодатасет для instruction-tuning

HKUSTAudio/Audio-FLAN-Dataset

Огромный корпус Audio-FLAN на английском и китайском для понимания и генерации речи, музыки и звуков.

Что внутри

Масштабный датасет для instruction-tuning моделей, работающих со звуком (от 10 до 100 миллионов записей на английском и китайском языках). Внутри лежат аудиофайлы и метаданные в формате jsonl, разделенные по категориям: речь, музыка и общие звуки (например, городские сцены из TAU и данные из AudioSet). Авторы отмечают, что полная загрузка файлов еще продолжается.

Что можно сделать

  • Обучить единую аудиомодель для распознавания речи (ASR) и синтеза (TTS)
  • Натренировать систему генерации звуковых эффектов и музыки по текстовому описанию
  • Провести instruction-tuning мультимодальной модели для понимания любых типов аудио
Задачи
Синтез речи, Текст → аудио, Распознавание речи
Языки
Английский, Китайский
Размер
10M–100M записей
Скачиваний за месяц
867
Лайков
47
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("HKUSTAudio/Audio-FLAN-Dataset")