К содержимому

Датасет · mlfoundations

Претрейн-корпус DCLM-baseline на 4 трлн токенов в parquet

mlfoundations/dclm-baseline-1.0-parquet

Огромный очищенный англоязычный корпус текстов (3 млрд документов) в формате parquet для предобучения LLM.

Что внутри

Это полная копия знаменитого датасета DCLM-baseline, переведённая в формат parquet. Внутри содержится около 3 миллиардов англоязычных документов общим объёмом 4 триллиона токенов (от 1 до 10 млрд записей). Набор предназначен для базового предобучения языковых моделей с нуля и показывает высокие результаты на бенчмарках в классе 7B.

Что можно сделать

  • Предобучение (pretraining) базовых языковых моделей с нуля
  • Продолженное предобучение (continued pretraining) на качественных англоязычных текстах
Языки
Английский
Размер
1B–10B записей
Скачиваний за месяц
24,2 тыс.
Лайков
57

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("mlfoundations/dclm-baseline-1.0-parquet")