Датасет · U4R
Бенчмарк по научным статьям arXiv для мультимодальных LLM
U4R/DocGenome
Англоязычный датасет на основе 500 тысяч научных статей arXiv для обучения и оценки работы с документами.
Что внутри
DocGenome создан путём автоматической разметки 500 тысяч научных документов открытого доступа из 153 дисциплин arXiv с помощью пайплайна DocParser. В текущем репозитории на английском языке выложено от 1 до 10 тысяч записей, структурирующих данные разных модальностей из статей. Набор ориентирован на задачи вопрос-ответ и извлечение текста из изображений.
Что можно сделать
- Обучение и тестирование мультимодальных LLM (VLM) пониманию сложных научных документов
- Разработка систем OCR и парсинга структуры академических PDF-статей
- Построение систем визуального ответа на вопросы (DocVQA) по графикам и формулам
- Задачи
- Вопрос-ответ, Картинка → текст
- Языки
- Английский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 23,3 тыс.
- Лайков
- 19
Как загрузить
from datasets import load_dataset
ds = load_dataset("U4R/DocGenome")