Датасет · codeparrot
115 млн файлов кода с GitHub
codeparrot/github-code-clean
Очищенная версия GitHub-кода: 115 млн файлов на 32 языках программирования, почти 1 ТБ текста.
Что внутри
Это более отфильтрованная версия датасета codeparrot/github-code. Внутри 115 млн файлов кода с GitHub на 32 языках программирования и 60 расширениях, суммарно почти 1 ТБ текстовых данных.
Что можно сделать
- Претрейн code LLM
- Обучение автодополнению кода
- Исследование фильтрации GitHub-кода
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 39 тыс.
- Лайков
- 147
Модели, обученные на нём
- ibm-granite/granite-3b-code-base-2kГенерация текста 40,4 тыс.
- mradermacher/granite-8b-code-base-128k-i1-GGUF 4,8 тыс.
- mradermacher/granite-3b-code-base-i1-GGUF 4,2 тыс.
- mradermacher/granite-34b-code-base-8k-i1-GGUF 3,6 тыс.
- mradermacher/granite-3b-code-base-2k-i1-GGUF 3,5 тыс.
- ibm-granite/granite-8b-code-base-4kГенерация текста 2,4 тыс.
- mradermacher/granite-3b-code-base-GGUF 2 тыс.
- mradermacher/granite-3b-code-base-128k-i1-GGUF 1,9 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("codeparrot/github-code-clean")