К содержимому

Датасет · alvanlii

10 тыс. часов кантонской речи с YouTube

alvanlii/cantonese-youtube

Масштабный корпус из 10 000 часов кантонского аудио с YouTube с псевдоразметкой от Whisper и SenseVoice.

Что внутри

В датасете собрано от 1 до 10 миллионов записей общей длительностью около 10 000 часов на кантонском и китайском языках. Аудио взято со случайных YouTube-каналов разных тематик: новости, влоги, развлечения, истории и здоровье. Вместо ручной расшифровки в колонках лежат автоматические транскрипции (в традиционной китайской записи), сгенерированные моделями whisper-large-v2-cantonese и SenseVoiceSmall.

Что можно сделать

  • Масштабное предобучение моделей ASR для кантонского диалекта
  • Обучение классификаторов аудио по тематикам контента
Задачи
Распознавание речи, Классификация аудио
Языки
Китайский, yue
Размер
1M–10M записей
Скачиваний за месяц
294
Лайков
50
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("alvanlii/cantonese-youtube")