Датасет · mhjiang0408
Бенчмарк научных обложек для мультимодальных LLM
mhjiang0408/MAC_Bench
Динамический бенчмарк на английском языке для оценки того, насколько хорошо мультимодальные LLM понимают научные журналы и иллюстрации.
Что внутри
Внутри собраны изображения и тексты на английском языке — от 1 000 до 10 000 примеров, посвященных обложкам научных журналов. Данные созданы как обновляемый бенчмарк для проверки визуально-текстового понимания в академической среде.
Что можно сделать
- Оценка качества мультимодальных LLM в задачах image-text-to-text
- Тестирование моделей на понимание сложных научных иллюстраций и графики
- Задачи
- Картинка + текст
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 50,5 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("mhjiang0408/MAC_Bench")