К содержимому

Датасет · recursal

Очищенный корпус вики фэндомов Fanatic Fandom

recursal/Fanatic-Fandom

Большой текстовый корпус объемом около 7.4B токенов на английском языке из фэндом-вики.

Что внутри

Датасет собран путем скрапинга публично доступных страниц фэндом-вики в основном на английском языке и прошел очистку. Общий объем составляет около 7.43B токенов (в токенизаторе llama-2-7b-chat).

Что можно сделать

  • Предобучение или дообучение LLM (например, LLaMA или RWKV)
  • Обучение генеративных моделей и LoRA на фанатских текстах и поп-культуре
Задачи
Генерация текста, Заполнение пропусков
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
591
Лайков
8

Как загрузить

from datasets import load_dataset

ds = load_dataset("recursal/Fanatic-Fandom")