К содержимому

Датасет · gfissore

Аннотации всех статей arXiv до конца 2021 года

gfissore/arxiv-abstracts-2021

Около 2 миллионов заголовков, аннотаций и метаданных научных статей с arXiv на английском языке.

Что внутри

В датасете собраны метаданные, включая заголовки и аннотации (abstracts), для всех научных публикаций на arXiv до конца 2021 года — всего около 2 миллионов записей на английском языке. В отличие от альтернативных сборок, этот набор не требует скачивания внешних архивов и готов к работе сразу.

Что можно сделать

  • Обучение моделей суммаризации научных текстов и генерации заголовков
  • Создание систем семантического поиска, рекомендаций статей и классификации по темам
Задачи
Суммаризация, Поиск по текстам
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
6,4 тыс.
Лайков
41

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("gfissore/arxiv-abstracts-2021")