Датасет · ccdv
Суммаризация длинных госотчётов
ccdv/govreport-summarization
Англоязычные пары «длинный отчёт — краткое резюме» для обучения и проверки моделей суммаризации.
Что внутри
Датасет предназначен для суммаризации длинных документов. Каждый пример содержит id, полный текст отчёта в поле report и краткое резюме в поле summary. Данные на английском, адаптированы из открытого репозитория и статьи GovReport.
Что можно сделать
- Обучать модель суммаризации длинных документов
- Проверять LLM на длинном контексте
- Запускать run_summarization.py из Transformers
- Задачи
- Суммаризация, Генерация текста
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 6,1 тыс.
- Лайков
- 70
Модели, обученные на нём
- chopratejas/kompress-baseРазметка токенов 711
- xxparthparekhxx/openjev-flashКлассификация текста 79
- abertsch/bart-base-govreportГенерация текста 45
- usakha/Pegasus_GovReport_modelСуммаризация 23
- abertsch/unlimiformer-bart-govreport-alternatingГенерация текста 20
- abertsch/unlimiformer-bart-govreport-earlykГенерация текста 18
- usakha/Prophetnet_GovReport_modelСуммаризация 17
- xaek08/bart-base-finetuned-ccdv-govreportСуммаризация 12
Как загрузить
from datasets import load_dataset
ds = load_dataset("ccdv/govreport-summarization")