Датасет · HKUSTAudio
Аудио-видео датасет говорящих людей Talker-T2AV
HKUSTAudio/Talker-T2AV-Data
Очищенный мультимодальный корпус для совместной генерации речи и видео говорящих людей на китайском и английском.
Что внутри
Внутри собраны синхронизированные аудиодорожки, видеозаписи и данные о движениях (motion), упакованные в tar-архивы, а также CSV-индекс с путями к файлам. Объём датасета составляет от 100 тысяч до 1 миллиона записей на китайском и английском языках. Набор подготовлен исследователями HKUST для обучения модели Talker-T2AV.
Что можно сделать
- Обучение мультимодальных моделей генерации говорящих аватаров (text-to-audio-video)
- Дообучение систем синхронизации движений губ и мимики с синтезированной речью
- Исследования в области совместного text-to-speech и text-to-video моделирования
- Задачи
- Текст → видео, Синтез речи
- Языки
- Китайский, Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 7
Как загрузить
from datasets import load_dataset
ds = load_dataset("HKUSTAudio/Talker-T2AV-Data")