Датасет · bigcode
Корпус кода на 600+ языках программирования
bigcode/the-stack-v2
Крупный корпус кода на 600+ языках, сгруппированный по репозиториям, с версиями после дедупликации и фильтрации.
Что внутри
The Stack v2 — датасет исходного кода, сгруппированный по репозиториям. Доступны четыре версии: полная, near-дедуплицированная, отфильтрованная эвристиками с покрытием 600+ языков и уменьшенная train-smol. Язык данных — код; точный объём в карточке не указан.
Что можно сделать
- Предобучение code LLM
- Дообучение автодополнения кода
- Оценка мультиязычных моделей по коду
- Задачи
- Генерация текста
- Языки
- Код
- Скачиваний за месяц
- 12,1 тыс.
- Лайков
- 675
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- codesage/codesage-large-v2 5,4 тыс.
- JetBrains/Mellum-4b-baseГенерация текста 2,3 тыс.
- bartowski/YuLan-Mini-GGUFГенерация текста 1,9 тыс.
- sapienzanlp/Minerva-7B-base-v1.0Генерация текста 1,8 тыс.
- nvidia/CUDA-AutocompleteГенерация текста 1,6 тыс.
- or4cl3ai/SquanchNastyAIГенерация текста 1,1 тыс.
- codesage/codesage-small-v2 888
- JetBrains/Mellum-4b-sft-allГенерация текста 763
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack-v2")