Датасет · alvanlii
10 тыс. часов кантонской речи с YouTube
alvanlii/cantonese-youtube
Масштабный корпус из 10 000 часов кантонского аудио с YouTube с псевдоразметкой от Whisper и SenseVoice.
Что внутри
В датасете собрано от 1 до 10 миллионов записей общей длительностью около 10 000 часов на кантонском и китайском языках. Аудио взято со случайных YouTube-каналов разных тематик: новости, влоги, развлечения, истории и здоровье. Вместо ручной расшифровки в колонках лежат автоматические транскрипции (в традиционной китайской записи), сгенерированные моделями whisper-large-v2-cantonese и SenseVoiceSmall.
Что можно сделать
- Масштабное предобучение моделей ASR для кантонского диалекта
- Обучение классификаторов аудио по тематикам контента
- Задачи
- Распознавание речи, Классификация аудио
- Языки
- Китайский, yue
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 294
- Лайков
- 50
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("alvanlii/cantonese-youtube")