Датасет · recursal
Очищенный корпус вики фэндомов Fanatic Fandom
recursal/Fanatic-Fandom
Большой текстовый корпус объемом около 7.4B токенов на английском языке из фэндом-вики.
Что внутри
Датасет собран путем скрапинга публично доступных страниц фэндом-вики в основном на английском языке и прошел очистку. Общий объем составляет около 7.43B токенов (в токенизаторе llama-2-7b-chat).
Что можно сделать
- Предобучение или дообучение LLM (например, LLaMA или RWKV)
- Обучение генеративных моделей и LoRA на фанатских текстах и поп-культуре
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 591
- Лайков
- 8
Как загрузить
from datasets import load_dataset
ds = load_dataset("recursal/Fanatic-Fandom")