Датасет · Lin-Chen
Бенчмарк для мультимодальных моделей без утечек данных
Lin-Chen/MMStar
Отобранные визуально-текстовые задачи на английском языке для честной оценки больших мультимодальных моделей.
Что внутри
В датасете собраны примеры из картинок и текстов в формате вопросов с вариантами ответов (multiple-choice) на английском языке. Объём составляет от 1 до 10 тысяч записей. Сэмплы специально отбирались так, чтобы модель не могла ответить без анализа изображения и чтобы исключить пересечения с обучающими выборками LLM.
Что можно сделать
- Оценка качества визуально-языковых моделей (VLM)
- Проверка моделей на зависимость от визуального контекста и отсутствие утечек данных
- Задачи
- multiple choice, Вопрос-ответ, Вопросы по картинкам
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 26,4 тыс.
- Лайков
- 55
Как загрузить
from datasets import load_dataset
ds = load_dataset("Lin-Chen/MMStar")