Датасет · ccdv
PubMed: суммаризация статей
ccdv/pubmed-summarization
Корпус PubMed для суммар��зации длинных медицинских статей: article и abstract.
Что внутри
Датасет для суммаризации длинных документов на английском, адаптированный из открытого репозитория. Содержит поля article с текстом статьи и abstract. Исходные данные были pre-tokenized, поэтому текст собирается через join и разбивается на параграфы; совместим со скриптом run_summarization.py из Transformers при указании mapping.
Что можно сделать
- Fine-tune BART или T5 для суммаризации
- Оценка ROUGE на медицинских статьях
- LoRA для длинных документов
- Задачи
- Суммаризация, Генерация текста
- Языки
- Английский
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 4,7 тыс.
- Лайков
- 101
Модели, обученные на нём
- mratsim/MiniMax-M2.5-FP8-INT4-AWQГенерация текста 336
- Stancld/longt5-tglobal-large-16384-pubmed-3k_steps 244
- mratsim/MiniMax-M2.5-BF16-INT4-AWQГенерация текста 103
- mratsim/MiniMax-M2.1-FP8-INT4-AWQГенерация текста 96
- nyamuda/extractive-summarizationСуммаризация 56
- mratsim/MiniMax-M2.1-BF16-INT4-AWQГенерация текста 17
- lxyuan/distilbart-finetuned-summarization 11
- lovethayo/MiniMax-M2.5-FP8-INT4-AWQГенерация текста 11
Как загрузить
from datasets import load_dataset
ds = load_dataset("ccdv/pubmed-summarization")