Датасет · HuggingFaceTB
Образовательные веб-тексты DCLM для обучения малых LLM
HuggingFaceTB/dclm-edu
Отфильтрованный по образовательному качеству корпус английских веб-страниц от Hugging Face.
Что внутри
Это версия корпуса DCLM на английском языке, отфильтрованная классификатором качества FineWeb-Edu. Каждая веб-страница оценена по шкале от 0 до 5, в итоговый набор вошли записи с оценкой выше 2 (размер от 1 до 10 млрд записей). На этих данных обучались компактные модели SmolLM2-135M и SmolLM2-360M.
Что можно сделать
- Предобучение компактных языковых моделей (SLM)
- Отбор чистых образовательных данных для дообучения LLM
- Исследование влияния фильтрации данных на качество малых моделей
- Языки
- Английский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 25,3 тыс.
- Лайков
- 47
Модели, обученные на нём
- Meridian21Lab/concept-memory-140m-11.5btГенерация текста 701
- keeeeenw/MicroLlama2-baseГенерация текста 586
- Meridian-MRM/Zedev-134mГенерация текста 564
- Rinstitute/Rina-Juvenile-Exp-2B-GGUFГенерация текста 547
- SupraLabs/MicroSupra-10kГенерация текста 219
- wzebrowski/OpenSML-JSONLite-175MГенерация текста 210
- sz14/cRia-LM-75MГенерация текста 193
- OpenSML/OpenSML-JSONLite-175MГенерация текста 184
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/dclm-edu")