Датасет · jordangong
Материализованный исходный код из The Stack v2
jordangong/the-stack-v2-smollm3
От 1 до 10 миллиардов фрагментов исходного кода на 16 языках программирования для обучения кодовых моделей.
Что внутри
Внутри лежат скачанные и декодированные исходники из репозитория bigcode/the-stack-v2 (указан точный коммит и источник Software Heritage). Всего в датасете от 1 до 10 миллиардов записей, разбитых по конфигурациям для 16 языков и форматов: от Python, C++ и Rust до SQL, Jupyter Notebook и Markdown. В таблицы добавлены колонки с текстом кода и статусом загрузки.
Что можно сделать
- Предобучение и дообучение языковых моделей для генерации кода
- Тренировка автодополнения и IDE-ассистентов для конкретного языка программирования
- Оценка качества парсинга и фильтрации больших корпусов кода
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 84,1 тыс.
- Лайков
- 8
Как загрузить
from datasets import load_dataset
ds = load_dataset("jordangong/the-stack-v2-smollm3")