Датасет · alexfabbri
Multi-News: новости и профессиональные саммари
alexfabbri/multi_news
Новостные статьи и краткие изложения от редакторов newser.com для обучения суммаризации.
Что внутри
Датасет состоит из новостных статей и написанных людьми кратких изложений с сайта newser.com. Каждое summary профессионально подготовлено редакторами и содержит ссылки на исходные статьи. В данных два поля: document — тексты статей, разделённые токеном "|||||", и summary — краткое изложение. Язык — английский.
Что можно сделать
- Обучить модель суммаризации новостей
- Проверить abstractive summarization на подборках статей
- Дообучить LoRA для сжатия новостных материалов
- Задачи
- Суммаризация
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 7,6 тыс.
- Лайков
- 79
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("alexfabbri/multi_news")