К содержимому

Датасет · Harrysunshine

Статьи OpenAlex с аннотациями (1980–2026)

Harrysunshine/openalex-abstracts-106m

Огромный корпус из более чем 106 миллионов англоязычных научных статей и докладов.

Что внутри

Содержит более 106 миллионов строк с аннотациями научных статей и материалов конференций с 1980 по 2026 год. Данные представлены в табличном и текстовом формате на английском языке, собраны из OpenAlex, OpenAIRE, Semantic Scholar и PubMed.

Что можно сделать

  • Обучение языковых моделей на научных текстах
  • Задачи классификации текста и извлечения признаков (feature-extraction)
Задачи
Классификация текста, Эмбеддинги
Языки
Английский
Размер
100M–1B записей
Скачиваний за месяц
21,7 тыс.
Лайков
1
Доступ
по запросу на Hugging Face

Как загрузить

from datasets import load_dataset

ds = load_dataset("Harrysunshine/openalex-abstracts-106m")