Датасет · mlfoundations
Претрейн-корпус DCLM-baseline на 4 трлн токенов в parquet
mlfoundations/dclm-baseline-1.0-parquet
Огромный очищенный англоязычный корпус текстов (3 млрд документов) в формате parquet для предобучения LLM.
Что внутри
Это полная копия знаменитого датасета DCLM-baseline, переведённая в формат parquet. Внутри содержится около 3 миллиардов англоязычных документов общим объёмом 4 триллиона токенов (от 1 до 10 млрд записей). Набор предназначен для базового предобучения языковых моделей с нуля и показывает высокие результаты на бенчмарках в классе 7B.
Что можно сделать
- Предобучение (pretraining) базовых языковых моделей с нуля
- Продолженное предобучение (continued pretraining) на качественных англоязычных текстах
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 24,2 тыс.
- Лайков
- 57
Модели, обученные на нём
- bartowski/INTELLECT-1-Instruct-GGUFГенерация текста 2,7 тыс.
- mradermacher/INTELLECT-1-i1-GGUF 1,7 тыс.
- mradermacher/Apex-2-Base-i1-GGUF 1,4 тыс.
- QuantFactory/INTELLECT-1-GGUFГенерация текста 1,2 тыс.
- mradermacher/INTELLECT-1-Instruct-i1-GGUF 1,1 тыс.
- DALabCommunity/Haidass1.5-143M 923
- Manprot/MP-01-100M-PreviewГенерация текста 916
- aethertp/PicoLM-V4-85MГенерация текста 888
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/dclm-baseline-1.0-parquet")