К содержимому

Датасет · Harland

Набор для нативного аудиовизуального диалога

Harland/OmniVChat

Данные от Alibaba и вузов Китая для обучения и оценки моделей, понимающих одновременный поток видео и голосовых запросов.

Что внутри

Датасет содержит от 1 до 10 тысяч примеров с видео, аудиодорожкой и текстовыми ответами на английском и китайском языках. В этих записях запрос пользователя встроен непосредственно в аудиопоток, сопровождающий видеоряд. Набор подготовлен совместно исследователями Alibaba Group и ведущих китайских университетов.

Что можно сделать

  • Обучение и SFT омнимодальных моделей (Omni-LLM) для живого общения по видеосвязи
  • Бенчмаркинг систем, синхронно обрабатывающих видео и речь без промежуточного ASR
Задачи
Видео + текст
Языки
Английский, Китайский
Размер
1K–10K записей
Скачиваний за месяц
2,6 тыс.
Лайков
58

Как загрузить

from datasets import load_dataset

ds = load_dataset("Harland/OmniVChat")