Датасет · HuggingFaceTB
Образовательный код на 125 млрд токенов
HuggingFaceTB/stack-edu
Отфильтрованный учебный код из The Stack v2 для обучения языковых моделей программированию.
Что внутри
Датасет содержит 125 млрд токенов образовательного кода, отфильтрованного из The Stack v2 (StarCoder2Data). Фильтрация классификатором вдохновлена FineWeb-Edu. По карточке, даёт устойчивое улучшение по всем языкам программирования по сравнению со StarCoder2Data.
Что можно сделать
- Предобучение code LLM
- Продолжение обучения StarCoder2-подобных моделей
- Fine-tuning LoRA для генерации кода
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 9,6 тыс.
- Лайков
- 83
Модели, обученные на нём
- dmis-lab/UltraBERT-380MЗаполнение пропусков 15,2 тыс.
- dmis-lab/UltraBERT-150MЗаполнение пропусков 14,6 тыс.
- HPLT/NorOLMo-13BГенерация текста 1,5 тыс.
- HPLT/FinOLMo-13BГенерация текста 769
- raincandy-u/Rain-v2Генерация текста 266
- ParScale/ParScale-1.8B-P8Генерация текста 247
- credible-ai/qwen3.5-1B-40domains-baselineГенерация текста 245
- credible-ai/qwen3.5-1B-40domains-vertex-linear-cpileГенерация текста 237
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/stack-edu")