Датасет · codeparrot
Очищенный код Python с GitHub
codeparrot/codeparrot-clean
Дедуплицированный корпус Python-файлов с GitHub для обучения моделей генерации кода.
Что внутри
Это очищенная версия датасета CodeParrot: Python-файлы с GitHub. Из исходных данных удалили точные дубликаты и шум: ограничили длину строк, долю буквенно-цифровых символов и убрали автогенерируемые файлы. Модальности — табличные данные и текст; размер — от 1 до 10 млн записей.
Что можно сделать
- Предобучение небольших code LLM
- Дообучение модели автодополнения Python
- Оценка качества очистки кода
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 35,2 тыс.
- Лайков
- 91
Как загрузить
from datasets import load_dataset
ds = load_dataset("codeparrot/codeparrot-clean")