Датасет · gfissore
Аннотации всех статей arXiv до конца 2021 года
gfissore/arxiv-abstracts-2021
Около 2 миллионов заголовков, аннотаций и метаданных научных статей с arXiv на английском языке.
Что внутри
В датасете собраны метаданные, включая заголовки и аннотации (abstracts), для всех научных публикаций на arXiv до конца 2021 года — всего около 2 миллионов записей на английском языке. В отличие от альтернативных сборок, этот набор не требует скачивания внешних архивов и готов к работе сразу.
Что можно сделать
- Обучение моделей суммаризации научных текстов и генерации заголовков
- Создание систем семантического поиска, рекомендаций статей и классификации по темам
- Задачи
- Суммаризация, Поиск по текстам
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 6,4 тыс.
- Лайков
- 41
Модели, обученные на нём
- andreas122001/roberta-mixed-detectorКлассификация текста 9,3 тыс.
- andreas122001/roberta-academic-detectorКлассификация текста 848
- samratduttaofficial/WaterSheepZero-shot классификация 81
- akta-pro/d3-mini-multiZero-shot классификация 81
- mmetamong/ko-decision-roberta-largeКлассификация текста 73
- mmetamong/ko-decision-bge-m3Классификация текста 59
- ITLL/WaterSheepZero-shot классификация 33
- andreas122001/bloomz-560m-mixed-detectorКлассификация текста 30
Как загрузить
from datasets import load_dataset
ds = load_dataset("gfissore/arxiv-abstracts-2021")