Датасет · csebuetnlp
1,35 млн пар статья–саммари на 45 языках
csebuetnlp/xlsum
1,35 млн профессионально размеченных пар «статья — краткое резюме» BBC на 45 языках, включая малоресурсные.
Что внутри
Датасет содержит 1,35 миллиона пар из статей BBC и профессионально написанных кратких резюме. Данные охватывают 45 языков от низкоресурсных до высокоресурсных, для многих из них публичных датасетов раньше не было. Пары извлечены с помощью набора эвристик; датасет высоко абстрактивный и сжатый, качество подтверждено оценками.
Что можно сделать
- Обучение моделей суммаризации
- Fine-tuning mT5/BART для мультиязычных саммари
- Оценка абстрактной суммаризации на 45 языках
- Задачи
- Суммаризация, Генерация текста
- Языки
- am, Арабский, az, bn, my, Китайский, Английский, Французский и ещё 4
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 10 тыс.
- Лайков
- 168
Модели, обученные на нём
- csebuetnlp/mT5_multilingual_XLSumСуммаризация 3,8 тыс.
- nafisehNik/mt5-persian-summaryСуммаризация 3,1 тыс.
- recogna-nlp/ptt5-base-summ-xlsumСуммаризация 1,9 тыс.
- TheBloke/OpenOrca_Stx-GGUF 557
- AIInstituteLNCC/manaca-1b-instructГенерация текста 540
- aerner/lm-v1Генерация текста 337
- ai4bharat/IndicBART-XLSum 296
- cointegrated/rut5-base-absumСуммаризация 243
Как загрузить
from datasets import load_dataset
ds = load_dataset("csebuetnlp/xlsum")