К содержимому

Датасет · nhblk123

Крупнейший открытый корпус исходного кода с GitHub

nhblk123/helaxai_data_pluse

Собранный с GitHub массив исходного кода (от 100 млн до 1 млрд записей) для обучения кодовых LLM.

Что внутри

В карточке датасет описан как The Stack v3 — преемник The Stack v2, содержащий исходный код в текстовом и табличном виде. Данные собраны напрямую с GitHub для предобучения моделей с учётом контекста целого репозитория, размер составляет от 100 миллионов до 1 миллиарда примеров.

Что можно сделать

  • Предобучение (pre-training) языковых моделей для генерации кода
  • Обучение моделей работе с контекстом целого репозитория
  • Анализ и статистика открытого исходного кода на разных языках программирования
Задачи
Генерация текста
Языки
Код
Размер
100M–1B записей
Скачиваний за месяц
26,4 тыс.
Лайков
1

Как загрузить

from datasets import load_dataset

ds = load_dataset("nhblk123/helaxai_data_pluse")