К содержимому

Датасет · webis

Корпус постов Reddit с короткими выжимками TL;DR

webis/tldr-17

Почти 3,85 миллиона англоязычных постов с Reddit с авторскими резюме для задач автоматической суммаризации.

Что внутри

В датасете собрано 3 848 330 предобработанных постов с Reddit на английском языке. Средняя длина основного текста составляет 270 слов, а краткого резюме — 28 слов. Помимо текста и выжимки, каждая запись содержит метаданные об авторе и сабреддите.

Что можно сделать

  • Обучение и дообучение моделей абстрактивной суммаризации текста
  • Тренировка систем сжатия пользовательского контента и новостей до одного абзаца
Задачи
Суммаризация
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
1,7 тыс.
Лайков
58

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("webis/tldr-17")