Датасет · Mearman
Зеркало научной базы OpenAlex (250+ млн работ)
Mearman/OpenAlex
Огромный мультиязычный архив метаданных о научных статьях и авторах для извлечения признаков.
Что внутри
Это зеркало открытого каталога научных публикаций OpenAlex, содержащее от 10 до 100 миллиардов записей, включая более 250 миллионов научных работ и 100 миллионов авторов. Данные представлены в текстовом и табличном виде на английском и других языках, разбиты на сабсеты по типам сущностей и включают исходные файлы в формате .jsonl.gz. Копия перенесена из публичного бакета S3 с дедупликацией.
Что можно сделать
- Обучение графовых нейросетей и систем рекомендаций научных статей
- Извлечение признаков (feature extraction) и анализ цитируемости в наукометрии
- Построение поисковых систем и RAG-баз по научным метаданным
- Задачи
- Таблицы: классификация, Эмбеддинги
- Языки
- Английский, Много языков
- Размер
- 10B–100B записей
- Скачиваний за месяц
- 49,1 тыс.
- Лайков
- 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("Mearman/OpenAlex")