Датасет · euirim
Избранные статьи английской Википедии в Markdown
euirim/goodwiki
От 10 до 100 тысяч качественных статей Википедии на 179 млн токенов с сохранением разметки для генерации и саммаризации.
Что внутри
Внутри собрано от 10 до 100 тысяч статей на английском языке общим объёмом 179 миллионов токенов, отмеченных редакторами Википедии как «хорошие» или «избранные» (срез от 4 сентября 2023 года). Тексты представлены в формате GitHub-flavored Markdown с сохранением списков, блоков кода, формул и цитат, а также снабжены краткими описаниями и категориями.
Что можно сделать
- Обучение языковых моделей генерации структурированных текстов в формате Markdown
- Тренировка и оценка моделей суммаризации на проверенных энциклопедических статьях
- Задачи
- Генерация текста, Суммаризация
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 202
- Лайков
- 56
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("euirim/goodwiki")