К содержимому

Датасет · HKUSTAudio

Аудио-видео датасет говорящих людей Talker-T2AV

HKUSTAudio/Talker-T2AV-Data

Очищенный мультимодальный корпус для совместной генерации речи и видео говорящих людей на китайском и английском.

Что внутри

Внутри собраны синхронизированные аудиодорожки, видеозаписи и данные о движениях (motion), упакованные в tar-архивы, а также CSV-индекс с путями к файлам. Объём датасета составляет от 100 тысяч до 1 миллиона записей на китайском и английском языках. Набор подготовлен исследователями HKUST для обучения модели Talker-T2AV.

Что можно сделать

  • Обучение мультимодальных моделей генерации говорящих аватаров (text-to-audio-video)
  • Дообучение систем синхронизации движений губ и мимики с синтезированной речью
  • Исследования в области совместного text-to-speech и text-to-video моделирования
Задачи
Текст → видео, Синтез речи
Языки
Китайский, Английский
Размер
100K–1M записей
Скачиваний за месяц
1,8 тыс.
Лайков
7

Как загрузить

from datasets import load_dataset

ds = load_dataset("HKUSTAudio/Talker-T2AV-Data")