Датасет · MMInstruction
Мультимодальные вопросы по графикам и рисункам из arXiv
MMInstruction/ArxivQA
Более 100 тысяч вопросов с вариантами ответов по научным изображениям из статей arXiv.
Что внутри
Крупный набор данных объёмом от 100 000 до 1 000 000 примеров на английском языке, хранящийся в формате JSONL и дополненный файлами изображений из научных публикаций arXiv. Каждая запись содержит ссылку на картинку (например, научный график) и вопрос с вариантами ответов для проверки понимания визуальной информации.
Что можно сделать
- Обучение и дообучение мультимодальных моделей (VLM) пониманию научных графиков и диаграмм
- Проверка способности моделей отвечать на вопросы по сложным иллюстрациям из статей
- Задачи
- Картинка → текст
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 2,8 тыс.
- Лайков
- 38
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("MMInstruction/ArxivQA")