К содержимому

Датасет · JonesLin

Корпус научных статей 2016-2021

JonesLin/writing-model-papers-2016-2021

Коллекция открытых научных текстов и метаданных из arXiv, CVF, NeurIPS и других площадок.

Что внутри

Датасет содержит метаданные и документы (текст, табличные данные) научных статей, опубликованных в период с 2016 по 2021 год (2022 год исключен). Источниками являются только открытые публикации (arXiv, ACL Anthology, PMLR и др.) в рамках лимита диска 48 ГБ. Метаданные хранятся в формате JSONL с полями title, year, authors, abstract, doi, arxiv_id.

Что можно сделать

  • Обучение языковых моделей на научном тексте
  • Задачи суммаризации текстов и извлечения информации
Задачи
Генерация текста
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
44,8 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("JonesLin/writing-model-papers-2016-2021")