Датасет · mlfoundations
DCLM-baseline: 4T токенов для претрейна
mlfoundations/dclm-baseline-1.0
4 трлн токенов и 3 млрд документов для предобучения LLM; сильные результаты на бенчмарках.
Что внутри
DCLM-baseline — открытый датасет для предобучения языковых моделей объёмом 4 трлн токенов и 3 млрд документов. В карточке приводят сравнение 7B-моделей, обученных на нём, с Llama2, DeepSeek, Mistral, Qwen2 и Llama3 по CORE, MMLU и EXTENDED. Данные представлены в текстовой и табличной модальностях; язык в метаданных не указан.
Что можно сделать
- Предобучение LLM масштаба 7B
- Воспроизведение бейзлайна DCLM
- Оценка качества корпуса на CORE/MMLU
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 303,7 тыс.
- Лайков
- 334
Модели, обученные на нём
- dmis-lab/UltraBERT-380MЗаполнение пропусков 15,2 тыс.
- dmis-lab/UltraBERT-150MЗаполнение пропусков 14,6 тыс.
- BlinkDL/rwkv7-g1Генерация текста 9,6 тыс.
- marin-community/marin-8b-baseГенерация текста 2,2 тыс.
- bartowski/YuLan-Mini-GGUFГенерация текста 1,9 тыс.
- MinimaLabs/KLM-1.5Генерация текста 1,5 тыс.
- BananaMind/BananaMind-2-MoEГенерация текста 1,4 тыс.
- IvmeLabs/Ivme-Conversate-v2-BaseГенерация текста 1,4 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("mlfoundations/dclm-baseline-1.0")