Датасет · webis
Корпус постов Reddit с короткими выжимками TL;DR
webis/tldr-17
Почти 3,85 миллиона англоязычных постов с Reddit с авторскими резюме для задач автоматической суммаризации.
Что внутри
В датасете собрано 3 848 330 предобработанных постов с Reddit на английском языке. Средняя длина основного текста составляет 270 слов, а краткого резюме — 28 слов. Помимо текста и выжимки, каждая запись содержит метаданные об авторе и сабреддите.
Что можно сделать
- Обучение и дообучение моделей абстрактивной суммаризации текста
- Тренировка систем сжатия пользовательского контента и новостей до одного абзаца
- Задачи
- Суммаризация
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 58
Модели, обученные на нём
- mradermacher/Pythia-2.8B-TLDR-Iterative-SamPO-i1-GGUF 369
- mradermacher/Pythia-2.8B-TLDR-Iterative-SamPO-GGUF 235
- bthomas279/scam-detectorКлассификация текста 194
- ogmatrixllm/glyph-v1.1Классификация текста 178
- bthomas279/text-detectorКлассификация текста 42
- jiazhengli/Pythia-2.8B-TLDR-Iterative-SamPOГенерация текста 16
- SentiChain/apareciumГенерация текста 13
- SentiChain/aparecium-matrix 13
Как загрузить
from datasets import load_dataset
ds = load_dataset("webis/tldr-17")