Датасет · jhu-clsp
Смесь текстов для предобучения моделей семейства Ettin
jhu-clsp/ettin-pretraining-data
Крупный корпус на 1,7 триллиона английских токенов в формате MDS для претрейна языковых моделей.
Что внутри
Набор представляет собой первую из трёх фаз смеси данных на английском языке, на которой обучались энкодеры и декодеры семейства Ettin. В основе лежат очищенные веб-данные, включая DCLM (837,2 млрд токенов, или 49,1% от объёма) и другие веб-источники. Файлы упакованы в формат MDS для прямой работы с фреймворком Composer и репозиторием ModernBERT.
Что можно сделать
- Предобучение (pre-training) языковых моделей с нуля (энкодеров и декодеров)
- Дообучение моделей архитектуры ModernBERT на качественных веб-текстах
- Задачи
- Генерация текста, Заполнение пропусков, Классификация текста
- Языки
- Английский
- Скачиваний за месяц
- 64,3 тыс.
- Лайков
- 10
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("jhu-clsp/ettin-pretraining-data")