Датасет · bigcode
Идентификаторы очищенного кода из The Stack v2
bigcode/the-stack-v2-train-smol-ids
Подвыборка идентификаторов дедуплицированного исходного кода для обучения генеративных моделей.
Что внутри
Внутри находятся табличные и текстовые данные на языках программирования (от 10 до 100 млн записей). Это компактная версия на основе дедуплицированного корпуса The Stack v2 от проекта BigCode, отфильтрованная эвристиками и сгруппированная по репозиториям.
Что можно сделать
- Предобучение моделей для генерации и автодополнения кода
- Сборка и фильтрация собственного корпуса исходников по ID репозиториев
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 822
- Лайков
- 65
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- mradermacher/Gaperon-1125-8B-GGUF 1,2 тыс.
- mradermacher/Gaperon-Young-1125-8B-GGUF 660
- mradermacher/Gaperon-Garlic-1125-8B-GGUF 487
- pfnet/plamo-3-nict-2b-baseГенерация текста 307
- mradermacher/Gaperon-1125-1B-GGUF 255
- pfnet/plamo-3-nict-8b-baseГенерация текста 223
- mradermacher/Gaperon-Young-1125-1B-GGUF 177
- mradermacher/Gaperon-Garlic-1125-1B-GGUF 115
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack-v2-train-smol-ids")