SmolLM-Corpus
датасет для обучения компактных языковых моделей
2 мин чтения
SmolLM-Corpus — это тщательно отобранная коллекция качественных образовательных и синтетических данных, созданная командой HuggingFace для тренировки небольших языковых моделей (LLM). Внутри датасета находятся три основных подмножества: огромный массив синтетических учебников и историй Cosmopedia v2, качественный код на Python (Python-Edu), а также очищенный от дубликатов образовательный веб-корпус FineWeb-Edu. Этот набор данных идеально подходит исследователям и разработчикам, которые хотят обучать или дообучать компактные модели с нуля.
Ключевые особенности
- Cosmopedia v2: более 39 миллионов синтетических учебников, постов в блогах и историй, сгенерированных с помощью Mixtral-8x7B-Instruct-v0.1.
- Python-Edu: отфильтрованные файлы на Python с высоким образовательным скором, извлеченные из репозиториев The Stack v2.
- FineWeb-Edu-Dedup: 220 миллиардов токенов очищенных веб-страниц высокого образовательного качества.
- Готовность к работе: полная интеграция с библиотекой datasets для быстрой загрузки.
Что можно сделать
- Обучить собственную компактную языковую модель (LLM) с нуля на качественных синтетических и текстовых данных.
- Создать специализированную модель для генерации и анализа программного кода на Python, используя подмножество Python-Edu.
- Провести эксперименты по предварительному обучению (pre-training) и тестированию архитектур малых языковых моделей.
Пример
Загрузка подмножества Cosmopedia v2 с помощью библиотеки datasets:
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/smollm-corpus", "cosmopedia-v2", split="train", num_proc=16)
print(ds[0])Подробнее
Состоит из трех ключевых подмножеств: Cosmopedia v2, Python-Edu и FineWeb-Edu (deduplicated).Для работы с Python-Edu требуется доступ к S3-бакету Software Heritage.
Опубликован командой HuggingFace (Loubna Ben Allal, Anton Lozhkov, Guilherme Penedo, Thomas Wolf, Leandro von Werra) в июле 2024 года.








Комментарии