Датасет · HuggingFaceCode
The Stack v3: код с GitHub для обучения LLM
HuggingFaceCode/stack-v3-train
Крупнейший открытый набор исходного кода с GitHub с полным контекстом репозиториев для предобучения code LLM.
Что внутри
Это исходный код, собранный напрямую с GitHub для предобучения code LLM с контекстом всего репозитория. Набор позиционируется как крупнейший и самый свежий открытый датасет кода, преемник The Stack v2. Модальности — текст и табличные данные, язык — код; размер — 100M<n<1B.
Что можно сделать
- Предобучение code LLM
- Дообучение ассистентов для программирования
- Проверка моделей на задачах с контекстом репозитория
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 131,4 тыс.
- Лайков
- 399
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceCode/stack-v3-train")