Датасет · bigcode
Дедуплицированный корпус кода The Stack v2
bigcode/the-stack-v2-dedup
Почти дедуплицированная версия The Stack v2 — крупный корпус кода для обучения LLM, сгруппированный по репозиториям.
Что внутри
Это версия bigcode/the-stack-v2 с дополнительной near-дедупликацией. Данные сгруппированы по репозиториям. В семействе The Stack v2 также есть полная версия, эта дедуплицированная версия, отфильтрованная train-full-ids с 600+ языками программирования и уменьшенная train-smol. Язык данных — код.
Что можно сделать
- Предобучение code LLM
- Дообучение модели на более чистом коде
- Оценка качества дедупликации для code-корпусов
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 1,7 тыс.
- Лайков
- 145
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack-v2-dedup")