Датасет · FBK-MT
Мультиязычный мультимодальный бенчмарк по научным докладам
FBK-MT/MCIF
Человеческая разметка инструкций на основе научных докладов: речь, видео и текст на четырёх языках для проверки MLLM.
Что внутри
MCIF — человеко-размеченный мультиязычный бенчмарк для оценки следования инструкциям в кросс-языковых и мультимодальных сценариях, на коротких и длинных входах. Включает речь, изображения/видео и текст; языки — английский, немецкий, итальянский и китайский. Объём — от 1 до 10 тыс. примеров; задачи включают ASR, QA, суммаризацию, VQA и перевод.
Что можно сделать
- Проверить MLLM на кросс-языковых инструкциях с аудио и видео
- Оценить ASR, суммаризацию и VQA в одном мультимодальном пайплайне
- Сделать бенчмарк для инструкционных моделей на научных докладах
- Задачи
- Распознавание речи, Вопрос-ответ, Суммаризация, Вопросы по картинкам, Перевод
- Языки
- Английский, Немецкий, Итальянский, Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 1,5 тыс.
- Лайков
- 71
Как загрузить
from datasets import load_dataset
ds = load_dataset("FBK-MT/MCIF")