К содержимому

Датасет · HuggingFaceTB

Образовательные веб-тексты DCLM для обучения малых LLM

HuggingFaceTB/dclm-edu

Отфильтрованный по образовательному качеству корпус английских веб-страниц от Hugging Face.

Что внутри

Это версия корпуса DCLM на английском языке, отфильтрованная классификатором качества FineWeb-Edu. Каждая веб-страница оценена по шкале от 0 до 5, в итоговый набор вошли записи с оценкой выше 2 (размер от 1 до 10 млрд записей). На этих данных обучались компактные модели SmolLM2-135M и SmolLM2-360M.

Что можно сделать

  • Предобучение компактных языковых моделей (SLM)
  • Отбор чистых образовательных данных для дообучения LLM
  • Исследование влияния фильтрации данных на качество малых моделей
Языки
Английский
Размер
1B–10B записей
Скачиваний за месяц
25,3 тыс.
Лайков
47

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceTB/dclm-edu")