К содержимому

Датасет · bigcode

Идентификаторы очищенного кода из The Stack v2

bigcode/the-stack-v2-train-smol-ids

Подвыборка идентификаторов дедуплицированного исходного кода для обучения генеративных моделей.

Что внутри

Внутри находятся табличные и текстовые данные на языках программирования (от 10 до 100 млн записей). Это компактная версия на основе дедуплицированного корпуса The Stack v2 от проекта BigCode, отфильтрованная эвристиками и сгруппированная по репозиториям.

Что можно сделать

  • Предобучение моделей для генерации и автодополнения кода
  • Сборка и фильтрация собственного корпуса исходников по ID репозиториев
Задачи
Генерация текста
Языки
Код
Размер
10M–100M записей
Скачиваний за месяц
822
Лайков
65
Доступ
по запросу на Hugging Face

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("bigcode/the-stack-v2-train-smol-ids")