К содержимому

Датасет · jordangong

Материализованный исходный код из The Stack v2

jordangong/the-stack-v2-smollm3

От 1 до 10 миллиардов фрагментов исходного кода на 16 языках программирования для обучения кодовых моделей.

Что внутри

Внутри лежат скачанные и декодированные исходники из репозитория bigcode/the-stack-v2 (указан точный коммит и источник Software Heritage). Всего в датасете от 1 до 10 миллиардов записей, разбитых по конфигурациям для 16 языков и форматов: от Python, C++ и Rust до SQL, Jupyter Notebook и Markdown. В таблицы добавлены колонки с текстом кода и статусом загрузки.

Что можно сделать

  • Предобучение и дообучение языковых моделей для генерации кода
  • Тренировка автодополнения и IDE-ассистентов для конкретного языка программирования
  • Оценка качества парсинга и фильтрации больших корпусов кода
Задачи
Генерация текста
Языки
Код
Размер
1B–10B записей
Скачиваний за месяц
84,1 тыс.
Лайков
8

Как загрузить

from datasets import load_dataset

ds = load_dataset("jordangong/the-stack-v2-smollm3")