Датасет · codeparrot
Код GitHub: 115 млн файлов на 32 языках
codeparrot/github-code
Корпус из 115 млн файлов кода GitHub на 32 языках для обучения и проверки генерации кода.
Что внутри
Датасет собран из 115 млн файлов кода GitHub на 32 языках программирования и 60 расширениях, общий объём — 1 ТБ текста. Источник — датасет GitHub в BigQuery. Модальность — текст/код, задача — text-generation.
Что можно сделать
- Предобучение или дообучение LLM для генерации кода
- Обучение LoRA на код-ассистента
- Оценка code completion на мультиязычном коде
- Задачи
- Генерация текста
- Языки
- Код
- Скачиваний за месяц
- 47,2 тыс.
- Лайков
- 437
Модели, обученные на нём
- neuralcrew/neutrino-instructГенерация текста 29,5 тыс.
- mradermacher/neo-3-3B-A400M-Base-i1-GGUF 681
- mradermacher/neo-3-3B-A400M-Base-GGUF 376
- or4cl3ai/Aiden_t5Генерация текста 195
- BhinekaIntiLabs/bhineka-gptГенерация текста 149
- aquilesfd/neo-3-1B-A90M-BaseГенерация текста 105
- aquilesfd/neo-3-3B-A400M-BaseГенерация текста 90
- usvsnsp/code-vs-nlКлассификация текста 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("codeparrot/github-code")