Датасет · openbmb
Код из GitHub с уровнями очистки L0–L3
openbmb/UltraData-Code
Код из GitHub с уровнями очистки L0–L3 для обучения языковых моделей.
Что внутри
Датасет содержит текстовые и табличные данные кода с языками en и zh. Это реализация tiered-фреймворка UltraData L0–L4: покрыты состояния кода L0–L3, каждому уровню соответствует отдельный этап обработки. Пайплайн начинается с примерно 192 млн публичных репозиториев GitHub на уровне L0; объём по метаданным — от 100 млн до 1 млрд записей.
Что можно сделать
- Предобучение кодовых LLM
- Оценка пайплайнов фильтрации кода
- Изучение tiered-управления данными
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 27,7 тыс.
- Лайков
- 214
Модели, обученные на нём
- openbmb/MiniCPM5-2BГенерация текста 1 млн
- openbmb/MiniCPM5-2B-DSparkГенерация текста 531,9 тыс.
- openbmb/MiniCPM5-2B-GGUFГенерация текста 471,2 тыс.
- openbmb/MiniCPM5-2B-MLXГенерация текста 183,9 тыс.
- openbmb/MiniCPM5-2B-BaseГенерация текста 12,3 тыс.
- bartowski/MiniCPM5-2B-GGUFГенерация текста 9,2 тыс.
- openbmb/MiniCPM5-2B-SFTГенерация текста 6 тыс.
- mlx-community/MiniCPM5-2B-mlx-4BitГенерация текста 5,6 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraData-Code")