К содержимому

Датасет · MMInstruction

Мультимодальные вопросы по графикам и рисункам из arXiv

MMInstruction/ArxivQA

Более 100 тысяч вопросов с вариантами ответов по научным изображениям из статей arXiv.

Что внутри

Крупный набор данных объёмом от 100 000 до 1 000 000 примеров на английском языке, хранящийся в формате JSONL и дополненный файлами изображений из научных публикаций arXiv. Каждая запись содержит ссылку на картинку (например, научный график) и вопрос с вариантами ответов для проверки понимания визуальной информации.

Что можно сделать

  • Обучение и дообучение мультимодальных моделей (VLM) пониманию научных графиков и диаграмм
  • Проверка способности моделей отвечать на вопросы по сложным иллюстрациям из статей
Задачи
Картинка → текст
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
2,8 тыс.
Лайков
38

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("MMInstruction/ArxivQA")