К содержимому

Датасет · open-index

Полные метаданные почти 3 миллионов статей с arXiv

open-index/open-arxiv

Метаданные 2,99 млн научных публикаций с 1991 по 2026 год в формате parquet для поиска и аналитики.

Что внутри

Внутри собраны метаданные 2,99 миллиона научных статей с arXiv за 40 лет (с 1991 по 2026 год): заголовки, аннотации, авторы, категории, DOI и история версий. Данные взяты из датасета Корнеллского университета на Kaggle и переведены в 417 шардов формата parquet со сжатием Zstd, основной язык — английский с мультиязычными вкраплениями.

Что можно сделать

  • Обучение классификаторов научных текстов и генераторов аннотаций
  • Построение семантического поиска и систем извлечения признаков (feature extraction)
  • Аналитика трендов в науке и создание вопросно-ответных систем по статьям
Задачи
Классификация текста, Генерация текста, Эмбеддинги, Вопрос-ответ
Языки
Английский, Много языков
Размер
1M–10M записей
Скачиваний за месяц
2,9 тыс.
Лайков
21

Как загрузить

from datasets import load_dataset

ds = load_dataset("open-index/open-arxiv")