Датасет · armanc
Научные статьи с аннотациями для суммаризации
armanc/scientific_papers
Корпус длинных научных статей из arXiv и PubMed с аннотациями для обучения суммаризации.
Что внутри
Два набора длинных структурированных научных документов из репозиториев ArXiv и PubMed OpenAccess. В каждом примере есть тело статьи, аннотация и названия разделов; абзацы разделены «/n». Язык — английский.
Что можно сделать
- Обучить модель суммаризации научных статей
- Настроить LoRA для генерации аннотаций
- Оценить суммаризацию длинных документов
- Задачи
- Суммаризация
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 3,1 тыс.
- Лайков
- 186
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("armanc/scientific_papers")