Датасет · permutans
Метаданные 2,5 млн статей arXiv с разбивкой по темам и датам
permutans/arxiv-papers-by-subject
Реорганизованный корпус метаданных научных статей arXiv на английском, разбитый по предметам, годам и месяцам для выборочной загрузки.
Что внутри
В датасете собраны текстовые метаданные более чем 2,5 миллионов научных публикаций с портала arXiv на английском языке. Это переработанная версия другого репозитория, в которой файлы разложены по иерархии папок с кодами дисциплин, годами и месяцами, чтобы можно было скачивать только нужные срезы без загрузки всего архива.
Что можно сделать
- Обучение моделей генерации текста и извлечения признаков в узких научных областях
- Сбор тематических выборок публикаций за конкретные периоды для аналитики и RAG
- Задачи
- Генерация текста, Эмбеддинги
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 114,5 тыс.
- Лайков
- 39
Как загрузить
from datasets import load_dataset
ds = load_dataset("permutans/arxiv-papers-by-subject")