Датасет · kishormorol
Корпус научных статей по Computer Science и сплиты для SFT
kishormorol/researchscope-papers
База из 34 831 научной статьи по информатике с разбивкой по секциям и готовыми сплитами для дообучения.
Что внутри
Датасет содержит метаданные и тексты 34 831 статьи на английском языке: 9 831 с arXiv, 20 000 с конференций и 5 000 из журналов, а общий объём записей превышает 174 тысячи. Данные представлены в текстовом и табличном форматах, автоматически обновляются через GitHub Actions и включают отдельные сплиты для instruction-tuning и дообучения по секциям.
Что можно сделать
- Дообучение языковых моделей на научных текстах по Computer Science
- Обучение систем суммаризации и извлечения информации из статей
- Сборка RAG-пайплайнов для поиска по научным публикациям
- Задачи
- Генерация текста, Суммаризация, Эмбеддинги
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 5
Как загрузить
from datasets import load_dataset
ds = load_dataset("kishormorol/researchscope-papers")