Датасет · bigcode
Код для обучения StarCoder на 86 языках
bigcode/starcoderdata
783 ГБ кода на 86 языках с GitHub Issues, Jupyter-ноутбуками и коммитами — около 250 млрд токенов.
Что внутри
Это датасет, на котором обучали StarCoder и StarCoderBase. Он содержит 783 ГБ кода на 86 языках программирования, включая 54 ГБ GitHub Issues, 13 ГБ Jupyter-ноутбуков в виде скриптов и text-code пар, а также 32 ГБ коммитов GitHub — примерно 250 млрд токенов. Создание и фильтрация описаны через оригинальный The Stack.
Что можно сделать
- Предобучение code LLM
- Fine-tuning модели для генерации кода
- Исследование качества кода на 86 языках
- Задачи
- Генерация текста
- Языки
- Код
- Скачиваний за месяц
- 21,6 тыс.
- Лайков
- 570
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- TinyLlama/TinyLlama-1.1B-Chat-v1.0Генерация текста 965,5 тыс.
- TheBloke/TinyLlama-1.1B-Chat-v1.0-GGUF 65,7 тыс.
- TinyLlama/TinyLlama-1.1B-intermediate-step-1431k-3TГенерация текста 45,4 тыс.
- ibm-granite/granite-3b-code-base-2kГенерация текста 40,4 тыс.
- BSC-LT/salamandra-7b-instructГенерация текста 36,1 тыс.
- TheBloke/TinyLlama-1.1B-Chat-v0.3-GGUF 32,4 тыс.
- TinyLlama/TinyLlama-1.1B-step-50K-105bГенерация текста 22,9 тыс.
- openlm-research/open_llama_3b_v2Генерация текста 19,1 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/starcoderdata")