Датасет · Harland
Набор для нативного аудиовизуального диалога
Harland/OmniVChat
Данные от Alibaba и вузов Китая для обучения и оценки моделей, понимающих одновременный поток видео и голосовых запросов.
Что внутри
Датасет содержит от 1 до 10 тысяч примеров с видео, аудиодорожкой и текстовыми ответами на английском и китайском языках. В этих записях запрос пользователя встроен непосредственно в аудиопоток, сопровождающий видеоряд. Набор подготовлен совместно исследователями Alibaba Group и ведущих китайских университетов.
Что можно сделать
- Обучение и SFT омнимодальных моделей (Omni-LLM) для живого общения по видеосвязи
- Бенчмаркинг систем, синхронно обрабатывающих видео и речь без промежуточного ASR
- Задачи
- Видео + текст
- Языки
- Английский, Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 2,6 тыс.
- Лайков
- 58
Как загрузить
from datasets import load_dataset
ds = load_dataset("Harland/OmniVChat")