Датасет · reciTAL
Крупный корпус новостей и резюме на 5 языках (включая русский)
reciTAL/mlsum
Более 1,5 миллиона пар «новостная статья — краткое содержание» на русском, немецком, испанском, французском и турецком.
Что внутри
Первый крупномасштабный многоязычный датасет для автоматического реферирования, собранный из онлайн-газет. Внутри содержится более 1,5 миллиона пар «статья и её краткое содержание» на пяти языках: русском, французском, немецком, испанском и турецком. Помимо суммаризации, данные размечены для задач перевода и классификации текстов.
Что можно сделать
- Обучение и LoRA-адаптация моделей для автоматической суммаризации новостей на русском языке
- Кросс-языковые исследования и оценка качества генерации кратких выжимок
- Обучение классификаторов рубрик и тем новостных статей
- Задачи
- Суммаризация, Перевод, Классификация текста
- Языки
- Немецкий, Испанский, Французский, Русский, Турецкий
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 56
Модели, обученные на нём
- deepvk/USER-bge-m3Похожесть текстов 403,5 тыс.
- deepvk/USER-baseПохожесть текстов 29,4 тыс.
- Yoshiyusuf/turkish-summarizer-model-fixedГенерация текста 143
- alela32/USER-bge-m3-Q8_0-GGUFПохожесть текстов 111
- Content-AI/USER-bge-m3-Q8_0-GGUFПохожесть текстов 59
- sparkhonyuk/USER-bge-m3-Q5_K_M-GGUFПохожесть текстов 58
- cm4ker/USER-bge-m3-Q4_K_M-GGUFПохожесть текстов 54
- erichogging/barthez-finetuned-v2-synthexСуммаризация 35
Как загрузить
from datasets import load_dataset
ds = load_dataset("reciTAL/mlsum")