К содержимому

Датасет · jhu-clsp

Смесь текстов для предобучения моделей семейства Ettin

jhu-clsp/ettin-pretraining-data

Крупный корпус на 1,7 триллиона английских токенов в формате MDS для претрейна языковых моделей.

Что внутри

Набор представляет собой первую из трёх фаз смеси данных на английском языке, на которой обучались энкодеры и декодеры семейства Ettin. В основе лежат очищенные веб-данные, включая DCLM (837,2 млрд токенов, или 49,1% от объёма) и другие веб-источники. Файлы упакованы в формат MDS для прямой работы с фреймворком Composer и репозиторием ModernBERT.

Что можно сделать

  • Предобучение (pre-training) языковых моделей с нуля (энкодеров и декодеров)
  • Дообучение моделей архитектуры ModernBERT на качественных веб-текстах
Задачи
Генерация текста, Заполнение пропусков, Классификация текста
Языки
Английский
Скачиваний за месяц
64,3 тыс.
Лайков
10

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("jhu-clsp/ettin-pretraining-data")