Датасет · bigcode
Корпус кода The Stack
bigcode/the-stack
Крупный корпус исходного кода на десятках языков программирования с permissive-лицензиями.
Что внутри
Это набор исходного кода из GitHub: в v1.0 было 30 языков программирования и 18 permissive-лицензий, после near-deduplication объём составил 3 ТБ. В v1.1 исключены weak copyleft-лицензии MPL/EPL/LGPL, а список permissive-лицензий расширен до 193. Данные представлены как табличные и текстовые, язык — код.
Что можно сделать
- Обучение LLM для автодополнения кода
- Исследование лицензий и фильтрации кода
- Дообучение code-модели на permissive-коде
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 113,1 тыс.
- Лайков
- 1,1 тыс.
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- ku-nlp/deberta-v3-base-japanese 9,6 тыс.
- bigcode/gpt_bigcode-santacoderГенерация текста 6,4 тыс.
- bigcode/santacoderГенерация текста 5,4 тыс.
- mradermacher/TildeOpen-30B-Instruct-LV-i1-GGUF 5,1 тыс.
- mradermacher/mpt-7b-8k-i1-GGUF 2,6 тыс.
- JetBrains/Mellum-4b-baseГенерация текста 2,3 тыс.
- TildeAI/TildeOpen-30bГенерация текста 2,1 тыс.
- mradermacher/mpt-7b-i1-GGUF 1,8 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack")