Датасет · bigcode
Небольшой срез кода на 30 языках
bigcode/the-stack-smol
Подвыборка The Stack: по 10 тыс. случайных примеров кода на каждый из 30 языков, 2,6 ГБ.
Что внутри
Датасет содержит тексты кода — небольшой срез (~0,1%) оригинального The Stack. Для каждого из 30 языков программирования взято по 10 000 случайных примеров; общий объём около 2,6 ГБ. Данные представлены в табличном и текстовом формате.
Что можно сделать
- Предобучение или дообучение небольших code-моделей
- Проверка пайплайна обучения на коде без полного The Stack
- Быстрые эксперименты с токенизаторами для 30 языков
- Задачи
- Генерация текста
- Языки
- Код
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 26,5 тыс.
- Лайков
- 105
- Доступ
- по запросу на Hugging Face
Модели, обученные на нём
- nkthebass/tinybrainbot-360m-a75m-v4.1-moe-baseГенерация текста 849
- mradermacher/tinybrainbot-360m-a75m-v4.1-moe-base-GGUF 677
- nkthebass/tinybrainbot-53m-a9m-hybrid-instructГенерация текста 593
- nkthebass/tinybrainbot-25m-v5.1-baseГенерация текста 462
- nkthebass/tinybrainbot-360m-a75m-v5.1-pythonГенерация текста
Как загрузить
from datasets import load_dataset
ds = load_dataset("bigcode/the-stack-smol")