К содержимому

Датасет · Mearman

Зеркало научной базы OpenAlex (250+ млн работ)

Mearman/OpenAlex

Огромный мультиязычный архив метаданных о научных статьях и авторах для извлечения признаков.

Что внутри

Это зеркало открытого каталога научных публикаций OpenAlex, содержащее от 10 до 100 миллиардов записей, включая более 250 миллионов научных работ и 100 миллионов авторов. Данные представлены в текстовом и табличном виде на английском и других языках, разбиты на сабсеты по типам сущностей и включают исходные файлы в формате .jsonl.gz. Копия перенесена из публичного бакета S3 с дедупликацией.

Что можно сделать

  • Обучение графовых нейросетей и систем рекомендаций научных статей
  • Извлечение признаков (feature extraction) и анализ цитируемости в наукометрии
  • Построение поисковых систем и RAG-баз по научным метаданным
Задачи
Таблицы: классификация, Эмбеддинги
Языки
Английский, Много языков
Размер
10B–100B записей
Скачиваний за месяц
49,1 тыс.
Лайков
5

Как загрузить

from datasets import load_dataset

ds = load_dataset("Mearman/OpenAlex")