К содержимому

Датасет · kishormorol

Корпус научных статей по Computer Science и сплиты для SFT

kishormorol/researchscope-papers

База из 34 831 научной статьи по информатике с разбивкой по секциям и готовыми сплитами для дообучения.

Что внутри

Датасет содержит метаданные и тексты 34 831 статьи на английском языке: 9 831 с arXiv, 20 000 с конференций и 5 000 из журналов, а общий объём записей превышает 174 тысячи. Данные представлены в текстовом и табличном форматах, автоматически обновляются через GitHub Actions и включают отдельные сплиты для instruction-tuning и дообучения по секциям.

Что можно сделать

  • Дообучение языковых моделей на научных текстах по Computer Science
  • Обучение систем суммаризации и извлечения информации из статей
  • Сборка RAG-пайплайнов для поиска по научным публикациям
Задачи
Генерация текста, Суммаризация, Эмбеддинги
Языки
Английский
Размер
100K–1M записей
Скачиваний за месяц
1,7 тыс.
Лайков
5

Как загрузить

from datasets import load_dataset

ds = load_dataset("kishormorol/researchscope-papers")