К содержимому

Датасет · ZF5761

The Stack v3: гигантский корпус исходного кода с GitHub

ZF5761/stack-v3-train

Сотни миллионов файлов исходного кода с контекстом целых репозиториев для претрейна кодовых языковых моделей.

Что внутри

Крупнейший открытый датасет исходного кода размером от 100 млн до 1 млрд записей в текстовом и табличном форматах. Данные собраны напрямую с GitHub как продолжение серии The Stack v2 и организованы с сохранением контекста целых репозиториев. Набор предназначен для предобучения (pre-train) языковых моделей, работающих с программированием.

Что можно сделать

  • Предобучение (pre-train) с нуля кодовых LLM с длинным контекстом
  • Дообучение моделей автодополнения и анализа кода на уровне целых репозиториев
Задачи
Генерация текста
Языки
Код
Размер
100M–1B записей
Скачиваний за месяц
24 тыс.
Лайков
0

Как загрузить

from datasets import load_dataset

ds = load_dataset("ZF5761/stack-v3-train")