Датасет · EleutherAI
825 GiB корпус для языкового моделирования
EleutherAI/pile
825 GiB разнообразных английских текстов из 22 высококачественных датасетов для обучения языковых моделей.
Что внутри
The Pile — открытый корпус объёмом 825 GiB для языкового моделирования на английском языке. Он объединяет 22 меньших высококачественных датасета. Это текстовые данные для задач text-generation и fill-mask.
Что можно сделать
- Предобучение или дообучение языковых моделей
- Оценка fill-mask и text-generation
- Исследование состава данных для LM
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 100B–1T записей
- Скачиваний за месяц
- 6,2 тыс.
- Лайков
- 517
Модели, обученные на нём
- EleutherAI/pythia-160mГенерация текста 3,5 млн
- EleutherAI/gpt-neo-125mГенерация текста 458 тыс.
- EleutherAI/pythia-14mГенерация текста 297 тыс.
- EleutherAI/gpt-neox-20bГенерация текста 271,1 тыс.
- EleutherAI/pythia-70m 244 тыс.
- EleutherAI/pythia-410mГенерация текста 95 тыс.
- EleutherAI/gpt-j-6bГенерация текста 61,2 тыс.
- EleutherAI/pythia-160m-seed1Генерация текста 37,2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("EleutherAI/pile")