К содержимому

Датасет · mhjiang0408

Бенчмарк научных обложек для мультимодальных LLM

mhjiang0408/MAC_Bench

Динамический бенчмарк на английском языке для оценки того, насколько хорошо мультимодальные LLM понимают научные журналы и иллюстрации.

Что внутри

Внутри собраны изображения и тексты на английском языке — от 1 000 до 10 000 примеров, посвященных обложкам научных журналов. Данные созданы как обновляемый бенчмарк для проверки визуально-текстового понимания в академической среде.

Что можно сделать

  • Оценка качества мультимодальных LLM в задачах image-text-to-text
  • Тестирование моделей на понимание сложных научных иллюстраций и графики
Задачи
Картинка + текст
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
50,5 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("mhjiang0408/MAC_Bench")