Датасет · monology
The Pile без копирайта
monology/pile-uncopyrighted
Копия корпуса The Pile с удалёнными книгами, субтитрами и другими защищёнными текстами.
Что внутри
Это копия корпуса The Pile, из которой удалили контент, защищённый авторским правом, чтобы обучать LLM, не нарушая права авторов. По карточке, чистка затронула Books3, BookCorpus2, OpenSubtitles, YTSubtitles и часть OWT2. Объём — от 100 млн до 1 млрд единиц; язык в метаданных не указан.
Что можно сделать
- Предобучение LLM без копирайтных данных
- Сравнение с оригинальным The Pile
- Исследование влияния удаления книг и субтитров
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 65,8 тыс.
- Лайков
- 191
Модели, обученные на нём
- MiniLLM/MiniPLM-Qwen-200MГенерация текста 1,2 тыс.
- MiniLLM/Ref-Pretrain-Qwen-104MГенерация текста 931
- MiniLLM/Pretrain-Qwen-200MГенерация текста 762
- mradermacher/MiniPLM-Qwen-500M-i1-GGUF 591
- mradermacher/MiniPLM-Qwen-200M-i1-GGUF 407
- tensorblock/MiniPLM-Qwen-200M-GGUFГенерация текста 282
- mradermacher/MiniPLM-Mamba-130M-GGUF 273
- mradermacher/PonderLM-2-Pythia-1.4b-GGUF 233
Как загрузить
from datasets import load_dataset
ds = load_dataset("monology/pile-uncopyrighted")