Датасет · bigcode
Дедуплицированный корпус исходного кода
bigcode/the-stack-dedup
Код на многих языках программирования с permissive-лицензиями после near-дедупликации, около 1,5 ТБ.
Что внутри
The Stack — корпус исходного кода, собранный из репозиториев с permissive-лицензиями. В v1.0 было 30 языков программирования и 18 лицензий; после near-дедупликации объём составил 1,5 ТБ. В v1.1 исключили слабый копилефт MPL/EPL/LGPL и расширили список до 193 лицензий.
Что можно сделать
- Предобучение code LLM
- Дообучение модели автодополнения кода
- Проверка фильтрации по лицензиям
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 11,9 тыс.
- Лайков
- 420
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- bigcode/tiny_starcoder_pyГенерация текста 38,7 тыс.
- bigcode/starcoderbase-1bГенерация текста 7,6 тыс.
- codesage/codesage-large-v2 5,4 тыс.
- bigcode/starcoderГенерация текста 4,3 тыс.
- mradermacher/starcoder-i1-GGUF 2,8 тыс.
- mradermacher/mpt-30b-i1-GGUF 2,5 тыс.
- mradermacher/starcoderplus-i1-GGUF 2,2 тыс.
- mradermacher/mpt-30b-GGUF 2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack-dedup")