Датасет · nhblk123
Крупнейший открытый корпус исходного кода с GitHub
nhblk123/helaxai_data_pluse
Собранный с GitHub массив исходного кода (от 100 млн до 1 млрд записей) для обучения кодовых LLM.
Что внутри
В карточке датасет описан как The Stack v3 — преемник The Stack v2, содержащий исходный код в текстовом и табличном виде. Данные собраны напрямую с GitHub для предобучения моделей с учётом контекста целого репозитория, размер составляет от 100 миллионов до 1 миллиарда примеров.
Что можно сделать
- Предобучение (pre-training) языковых моделей для генерации кода
- Обучение моделей работе с контекстом целого репозитория
- Анализ и статистика открытого исходного кода на разных языках программирования
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 26,4 тыс.
- Лайков
- 1
Как загрузить
from datasets import load_dataset
ds = load_dataset("nhblk123/helaxai_data_pluse")