Датасет · arxiv-community
1,7 млн статей arXiv для поиска и анализа
arxiv-community/arxiv_dataset
Корпус из 1,7 млн статей arXiv на английском для рекомендаций, анализа трендов и семантического поиска.
Что внутри
Это датасет из 1,7 млн статей arXiv на английском языке. Его предлагают для анализа трендов, рекомендательных систем, предсказания категорий, построения сетей цитирования, графов знаний и семантического поиска. Формат в карточке не уточнён.
Что можно сделать
- Обучить рекомендательную систему статей
- Построить семантический поиск по arXiv
- Проверить модель на классификации категорий и суммаризации
- Задачи
- Перевод, Суммаризация, Поиск по текстам
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,1 тыс.
- Лайков
- 138
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("arxiv-community/arxiv_dataset")