Датасет · MoreThought
Корпус чистых Python-скриптов SmolPyEdu
MoreThought/SmolPyEdu
Большой массив очищенных коротких скриптов на Python для предварительного обучения языковых моделей.
Что внутри
Корпус объемом от 1M до 10M примеров на английском языке, созданный на основе датасета Avelina/python-edu-cleaned. Из исходных данных отфильтрованы только рабочие скрипты, удалены все комментарии и оставлены короткие чистые куски кода.
Что можно сделать
- Предобучение языковых моделей общего назначения и специализированных SLM/TLM для работы с кодом
- Тонкая настройка моделей для генерации программного кода на Python
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 782
- Лайков
- 4
Как загрузить
from datasets import load_dataset
ds = load_dataset("MoreThought/SmolPyEdu")