К содержимому

Датасет · Lin-Chen

Бенчмарк для мультимодальных моделей без утечек данных

Lin-Chen/MMStar

Отобранные визуально-текстовые задачи на английском языке для честной оценки больших мультимодальных моделей.

Что внутри

В датасете собраны примеры из картинок и текстов в формате вопросов с вариантами ответов (multiple-choice) на английском языке. Объём составляет от 1 до 10 тысяч записей. Сэмплы специально отбирались так, чтобы модель не могла ответить без анализа изображения и чтобы исключить пересечения с обучающими выборками LLM.

Что можно сделать

  • Оценка качества визуально-языковых моделей (VLM)
  • Проверка моделей на зависимость от визуального контекста и отсутствие утечек данных
Задачи
multiple choice, Вопрос-ответ, Вопросы по картинкам
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
26,4 тыс.
Лайков
55

Как загрузить

from datasets import load_dataset

ds = load_dataset("Lin-Chen/MMStar")