Датасет · legacy-datasets
Очищенный веб-корпус C4
legacy-datasets/c4
Очищенная версия Common Crawl на английском; размер — от 100 млн до 1 млрд единиц.
Что внутри
Это обработанная версия датасета Google C4 от AllenAI, основанная на Common Crawl. Корпус на английском языке, очищенный и предназначенный для языкового моделирования. Точное число документов в карточке не указано; категория размера — от 100 млн до 1 млрд.
Что можно сделать
- Предобучение и дообучение языковых моделей
- Задачи fill-mask
- Оценка языкового моделирования
- Задачи
- Генерация текста, Заполнение пропусков
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 8,4 тыс.
- Лайков
- 250
Как загрузить
from datasets import load_dataset
ds = load_dataset("legacy-datasets/c4")