Датасет · open-index
Полные метаданные почти 3 миллионов статей с arXiv
open-index/open-arxiv
Метаданные 2,99 млн научных публикаций с 1991 по 2026 год в формате parquet для поиска и аналитики.
Что внутри
Внутри собраны метаданные 2,99 миллиона научных статей с arXiv за 40 лет (с 1991 по 2026 год): заголовки, аннотации, авторы, категории, DOI и история версий. Данные взяты из датасета Корнеллского университета на Kaggle и переведены в 417 шардов формата parquet со сжатием Zstd, основной язык — английский с мультиязычными вкраплениями.
Что можно сделать
- Обучение классификаторов научных текстов и генераторов аннотаций
- Построение семантического поиска и систем извлечения признаков (feature extraction)
- Аналитика трендов в науке и создание вопросно-ответных систем по статьям
- Задачи
- Классификация текста, Генерация текста, Эмбеддинги, Вопрос-ответ
- Языки
- Английский, Много языков
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 2,9 тыс.
- Лайков
- 21
Как загрузить
from datasets import load_dataset
ds = load_dataset("open-index/open-arxiv")