Skip to content
Datasets

arXiv Complete Corpus

полный срез 3,14 млн научных статей в формате Parquet

2 min read

Масштабный датасет от secemp9, объединяющий метаданные, историю версий, исходные файлы и PDF-документы препринтов arXiv за период с 1986 по август 2026 года. Архив охватывает 3 148 796 статей на английском языке и весит 16,08 ТБ в сжатом виде, причём разделён на 9 удобных конфигураций — от лёгкого сэмпла на 26 МБ до многотерабайтных наборов исходников и отрендеренных документов. В отличие от обычных текстовых выгрузок, здесь сохранены оригинальные архивы отправки (source), отдельные TeX-файлы (latex) и собранный текст (paper_text) с разрешёнными зависимостями и библиографией. Датасет пригодится исследователям и разработчикам для обучения научных LLM, систем поиска (RAG) и парсеров документов.

Ключевые особенности

  • 9 конфигураций под разные задачи: можно скачать только индекс метаданных (metadata — 1,6 ГБ, versions — 269 МБ, files — 2,4 ГБ) и отфильтровать нужные статьи перед загрузкой тяжёлых данных.
  • Покрытие 99,47% по PDF: коллекция содержит 4 973 956 PDF-файлов, собранных из зеркал GCS и догруженных напрямую с arXiv, а также 2,23 млн PostScript-документов.
  • Исходники LaTeX внутри: конфиг paper_text (70 ГБ) даёт единый собранный TeX-текст для 2,85 млн статей, а latex (160 ГБ) и source (6,51 ТБ) хранят исходные файлы и полные архивы публикаций.
  • Поддержка удалённых SQL-запросов: структура Parquet позволяет делать выборки по колонкам и строкам напрямую с Hugging Face без скачивания всего репозитория.

Что можно сделать

  • Обучать и дообучать научные LLM: использовать очищенный paper_text для претрейна или адаптации моделей под физику, математику и компьютерные науки (крупнейшие категории — cs.CV, hep-ph, cs.LG, quant-ph).
  • Тренировать OCR и парсеры формул: сопоставлять отрендеренные страницы из pdf с оригинальной разметкой из latex и source для задач распознавания сложных научных документов.
  • Строить RAG-системы и графы цитирований: использовать metadata и versions для поиска по научным публикациям и отслеживания эволюции препринтов между версиями.

Пример

from datasets import load_dataset

ds = load_dataset("secemp9/arxiv-complete", "sample", split="train")
paper = ds[0]
print(paper["paper_id"], paper["title"], len(paper["text"]))
ПодробнееОбъём: 16,08 ТБ (9 конфигов в Parquet), сэмпл sample — 991 статья (26 МБ).
Сбор данных: метаданные arXivRaw собраны 30.08.2026, зеркало файлов — 05.09.2026.
Ограничения: paper_text сохраняет синтаксис LaTeX, комментарии, макросы и заглушки отозванных статей — перед обучением нужна фильтрация.
Лицензии: сам компиляционный индекс распространяется под CC0, но лицензии на тексты и файлы зависят от конкретной статьи.
Важно: не вызывайте snapshot_download() без параметра allow_patterns, иначе начнётся загрузка всех 16,08 ТБ.
Discuss Telegram 801 132.3K

About the model

datasets/secemp9/arxiv-complete
Author
secemp9
Category
Datasets
Released
Posted

On NeyroLearn

Hugging Face

132.3K801

Ask AI about this model

Answered by Gemini 4 · the chat is kept only in this tab

Comments

Datasets

PersonaHub

PersonaHub
Datasets

FineWeb2

FineWeb2
Datasets

FinePDFs

FinePDFs