К содержимому

Датасет · MMInstruction

Иллюстрации и подписи из научных статей arXiv

MMInstruction/ArxivCap

Пары «изображение — подпись» из научных публикаций arXiv с метаданными для мультимодальных моделей.

Что внутри

Датасет состоит из картинок (графиков, схем, иллюстраций) и соответствующих им подписей, извлечённых из научных статей на платформе arXiv на английском языке. К каждой паре прилагаются метаданные о категории статьи, лицензии и цитируемости из Kaggle и Semantic Scholar. Объём коллекции составляет от 100 тысяч до 1 миллиона записей.

Что можно сделать

  • Обучение VLM-моделей пониманию научных графиков и диаграмм
  • Генерация описаний для технических и научных иллюстраций
  • Мультимодальный поиск по научным публикациям
Задачи
Картинка → текст
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
15,3 тыс.
Лайков
58

Как загрузить

from datasets import load_dataset

ds = load_dataset("MMInstruction/ArxivCap")