К содержимому

Датасет · U4R

Бенчмарк по научным статьям arXiv для мультимодальных LLM

U4R/DocGenome

Англоязычный датасет на основе 500 тысяч научных статей arXiv для обучения и оценки работы с документами.

Что внутри

DocGenome создан путём автоматической разметки 500 тысяч научных документов открытого доступа из 153 дисциплин arXiv с помощью пайплайна DocParser. В текущем репозитории на английском языке выложено от 1 до 10 тысяч записей, структурирующих данные разных модальностей из статей. Набор ориентирован на задачи вопрос-ответ и извлечение текста из изображений.

Что можно сделать

  • Обучение и тестирование мультимодальных LLM (VLM) пониманию сложных научных документов
  • Разработка систем OCR и парсинга структуры академических PDF-статей
  • Построение систем визуального ответа на вопросы (DocVQA) по графикам и формулам
Задачи
Вопрос-ответ, Картинка → текст
Языки
Английский
Размер
1K–10K записей
Скачиваний за месяц
23,3 тыс.
Лайков
19

Как загрузить

from datasets import load_dataset

ds = load_dataset("U4R/DocGenome")