Датасет · HuggingFaceTB
Корпус учебных и синтетических текстов для малых LLM
HuggingFaceTB/smollm-corpus
Крупный английский корпус учебных и синтетических текстов для предобучения небольших языковых моделей.
Что внутри
Курируемый корпус высококачественных образовательных и синтетических данных на английском для обучения небольших языковых моделей. Объём — 100M–1B примеров. Включает Cosmopedia v2: более 39 млн синтетических учебников, блогов и историй. Формат — табличные и текстовые данные.
Что можно сделать
- Предобучение небольших языковых моделей
- Дообучение LLM на учебных и синтетических текстах
- Эксперименты с Cosmopedia v2 для синтетических данных
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 64,6 тыс.
- Лайков
- 522
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/smollm-corpus")