К содержимому

Датасет · permutans

Метаданные 2,5 млн статей arXiv с разбивкой по темам и датам

permutans/arxiv-papers-by-subject

Реорганизованный корпус метаданных научных статей arXiv на английском, разбитый по предметам, годам и месяцам для выборочной загрузки.

Что внутри

В датасете собраны текстовые метаданные более чем 2,5 миллионов научных публикаций с портала arXiv на английском языке. Это переработанная версия другого репозитория, в которой файлы разложены по иерархии папок с кодами дисциплин, годами и месяцами, чтобы можно было скачивать только нужные срезы без загрузки всего архива.

Что можно сделать

  • Обучение моделей генерации текста и извлечения признаков в узких научных областях
  • Сбор тематических выборок публикаций за конкретные периоды для аналитики и RAG
Задачи
Генерация текста, Эмбеддинги
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
114,5 тыс.
Лайков
39

Как загрузить

from datasets import load_dataset

ds = load_dataset("permutans/arxiv-papers-by-subject")