К содержимому

Датасет · RyokoAI

Статьи с 23 тысяч вики-проектов Fandom

RyokoAI/Fandom23K

Огромный англоязычный корпус из более чем 15,6 млн статей с портала Fandom.com для претрейна и генерации текстов.

Что внутри

Датасет содержит 15 616 749 текстовых статей на английском языке, собранных примерно с 23 665 вики-сайтов на платформе Fandom.com в марте 2023 года. Данные представляют собой часть более крупного корпуса BigKnow2022. Пометка в карточке предупреждает, что набор пока не полностью завершен и часть информации может быть неточной.

Что можно сделать

  • Неконтролируемый претрейн или продолжение обучения (CPT) языковых моделей на знаниях поп-культуры и лоре
  • Обучение моделей классификации текстов и генерации энциклопедических статей
Задачи
Классификация текста, Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
879
Лайков
32

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("RyokoAI/Fandom23K")