Датасет · bigcode
Код The Stack v2 с ID для обучения
bigcode/the-stack-v2-train-full-ids
Очищенный код на 600+ языках программирования, сгруппированный по репозиториям, для обучения LLM.
Что внутри
Версия The Stack v2 train-full-ids: на основе дедуплицированного The Stack v2, дополнительно отфильтрованная эвристиками. Данные охватывают 600+ языков программирования и сгруппированы по репозиториям. В метаданных размер указан как 10–100 млн примеров; это корпус кода для обучения генеративных моделей.
Что можно сделать
- Pretraining кодовой LLM
- Дообучение модели автодополнения кода
- Исследование качества кода по языкам
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 979
- Лайков
- 73
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack-v2-train-full-ids")