Датасет · Harrysunshine
Статьи OpenAlex с аннотациями (1980–2026)
Harrysunshine/openalex-abstracts-106m
Огромный корпус из более чем 106 миллионов англоязычных научных статей и докладов.
Что внутри
Содержит более 106 миллионов строк с аннотациями научных статей и материалов конференций с 1980 по 2026 год. Данные представлены в табличном и текстовом формате на английском языке, собраны из OpenAlex, OpenAIRE, Semantic Scholar и PubMed.
Что можно сделать
- Обучение языковых моделей на научных текстах
- Задачи классификации текста и извлечения признаков (feature-extraction)
- Задачи
- Классификация текста, Эмбеддинги
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 21,7 тыс.
- Лайков
- 1
- Доступ
- по запросу на Hugging Face
Как загрузить
from datasets import load_dataset
ds = load_dataset("Harrysunshine/openalex-abstracts-106m")