LaTeX-исходники arXiv с метаданными

Что внутри

Это весь корпус LaTeX-исходников arXiv, заранее разобранный, отформатированный и выровненный с официальными метаданными. Данные лежат в готовых к запросам Parquet-файлах; язык — английский. Размер — от 1 до 10 млн записей.

Что можно сделать

• Обучить text-generation модель на научных LaTeX-текстах
• Сделать feature extraction для статей arXiv
• Построить поиск или парсер по научным статьям

Модели, обученные на нём

• namanadep/Qwen2.5-7B-ArXiv-LaTeXГенерация текста 21
• yasmnlars13/ekko 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("scholarweave/arxiv-latex")