К содержимому

Датасет · reciTAL

Крупный корпус новостей и резюме на 5 языках (включая русский)

reciTAL/mlsum

Более 1,5 миллиона пар «новостная статья — краткое содержание» на русском, немецком, испанском, французском и турецком.

Что внутри

Первый крупномасштабный многоязычный датасет для автоматического реферирования, собранный из онлайн-газет. Внутри содержится более 1,5 миллиона пар «статья и её краткое содержание» на пяти языках: русском, французском, немецком, испанском и турецком. Помимо суммаризации, данные размечены для задач перевода и классификации текстов.

Что можно сделать

  • Обучение и LoRA-адаптация моделей для автоматической суммаризации новостей на русском языке
  • Кросс-языковые исследования и оценка качества генерации кратких выжимок
  • Обучение классификаторов рубрик и тем новостных статей
Задачи
Суммаризация, Перевод, Классификация текста
Языки
Немецкий, Испанский, Французский, Русский, Турецкий
Размер
100K–1M записей
Скачиваний за месяц
1,7 тыс.
Лайков
56

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("reciTAL/mlsum")