arXiv Complete Corpus
полный срез 3,14 млн научных статей в формате Parquet
2 min read
Масштабный датасет от secemp9, объединяющий метаданные, историю версий, исходные файлы и PDF-документы препринтов arXiv за период с 1986 по август 2026 года. Архив охватывает 3 148 796 статей на английском языке и весит 16,08 ТБ в сжатом виде, причём разделён на 9 удобных конфигураций — от лёгкого сэмпла на 26 МБ до многотерабайтных наборов исходников и отрендеренных документов. В отличие от обычных текстовых выгрузок, здесь сохранены оригинальные архивы отправки (source), отдельные TeX-файлы (latex) и собранный текст (paper_text) с разрешёнными зависимостями и библиографией. Датасет пригодится исследователям и разработчикам для обучения научных LLM, систем поиска (RAG) и парсеров документов.
Ключевые особенности
- 9 конфигураций под разные задачи: можно скачать только индекс метаданных (
metadata— 1,6 ГБ,versions— 269 МБ,files— 2,4 ГБ) и отфильтровать нужные статьи перед загрузкой тяжёлых данных. - Покрытие 99,47% по PDF: коллекция содержит 4 973 956 PDF-файлов, собранных из зеркал GCS и догруженных напрямую с arXiv, а также 2,23 млн PostScript-документов.
- Исходники LaTeX внутри: конфиг
paper_text(70 ГБ) даёт единый собранный TeX-текст для 2,85 млн статей, аlatex(160 ГБ) иsource(6,51 ТБ) хранят исходные файлы и полные архивы публикаций. - Поддержка удалённых SQL-запросов: структура Parquet позволяет делать выборки по колонкам и строкам напрямую с Hugging Face без скачивания всего репозитория.
Что можно сделать
- Обучать и дообучать научные LLM: использовать очищенный
paper_textдля претрейна или адаптации моделей под физику, математику и компьютерные науки (крупнейшие категории —cs.CV,hep-ph,cs.LG,quant-ph). - Тренировать OCR и парсеры формул: сопоставлять отрендеренные страницы из
pdfс оригинальной разметкой изlatexиsourceдля задач распознавания сложных научных документов. - Строить RAG-системы и графы цитирований: использовать
metadataиversionsдля поиска по научным публикациям и отслеживания эволюции препринтов между версиями.
Пример
from datasets import load_dataset
ds = load_dataset("secemp9/arxiv-complete", "sample", split="train")
paper = ds[0]
print(paper["paper_id"], paper["title"], len(paper["text"]))
Подробнее
Объём: 16,08 ТБ (9 конфигов в Parquet), сэмплsample — 991 статья (26 МБ).Сбор данных: метаданные
arXivRaw собраны 30.08.2026, зеркало файлов — 05.09.2026.Ограничения:
paper_text сохраняет синтаксис LaTeX, комментарии, макросы и заглушки отозванных статей — перед обучением нужна фильтрация.Лицензии: сам компиляционный индекс распространяется под CC0, но лицензии на тексты и файлы зависят от конкретной статьи.
Важно: не вызывайте
snapshot_download() без параметра allow_patterns, иначе начнётся загрузка всех 16,08 ТБ.







Comments