К содержимому

Датасет · MoreThought

Корпус чистых Python-скриптов SmolPyEdu

MoreThought/SmolPyEdu

Большой массив очищенных коротких скриптов на Python для предварительного обучения языковых моделей.

Что внутри

Корпус объемом от 1M до 10M примеров на английском языке, созданный на основе датасета Avelina/python-edu-cleaned. Из исходных данных отфильтрованы только рабочие скрипты, удалены все комментарии и оставлены короткие чистые куски кода.

Что можно сделать

  • Предобучение языковых моделей общего назначения и специализированных SLM/TLM для работы с кодом
  • Тонкая настройка моделей для генерации программного кода на Python
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
782
Лайков
4

Как загрузить

from datasets import load_dataset

ds = load_dataset("MoreThought/SmolPyEdu")