К содержимому

Датасет · euirim

Избранные статьи английской Википедии в Markdown

euirim/goodwiki

От 10 до 100 тысяч качественных статей Википедии на 179 млн токенов с сохранением разметки для генерации и саммаризации.

Что внутри

Внутри собрано от 10 до 100 тысяч статей на английском языке общим объёмом 179 миллионов токенов, отмеченных редакторами Википедии как «хорошие» или «избранные» (срез от 4 сентября 2023 года). Тексты представлены в формате GitHub-flavored Markdown с сохранением списков, блоков кода, формул и цитат, а также снабжены краткими описаниями и категориями.

Что можно сделать

  • Обучение языковых моделей генерации структурированных текстов в формате Markdown
  • Тренировка и оценка моделей суммаризации на проверенных энциклопедических статьях
Задачи
Генерация текста, Суммаризация
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
202
Лайков
56

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("euirim/goodwiki")