Датасет · secemp9
arXiv Complete: полный снимок статей arXiv
secemp9/arxiv-complete
Снимок 3,1 млн статей arXiv с метаданными, файлами и PDF.
Что внутри
Корпус включает снимок метаданных arXiv, историю версий, файлы отправки и отрендеренные документы. Покрытие — 3 148 796 статей; для 99,47% статей есть PDF, для 99,54% версий указан ненулевой размер. Метаданные взяты из OAI-PMH arXivRaw, файлы — из GCS-зеркала, S3-архивов и прямых загрузок PDF. Это разовый снимок, возможны пробелы покрытия.
Что можно сделать
- Обучить retrieval-модель по научным текстам
- Собрать корпус для language modeling на arXiv
- Проверить OCR/парсинг PDF и метаданных
- Задачи
- Генерация текста, Поиск по текстам
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 160,1 тыс.
- Лайков
- 799
Как загрузить
from datasets import load_dataset
ds = load_dataset("secemp9/arxiv-complete")