Датасет · openbmb
Очищенный корпус программного кода на 240 млрд токенов
openbmb/UltraData-Stack-v3-L2
Отфильтрованный корпус кода на 11 языках программирования объемом около 240 млрд токенов из The Stack v3.
Что внутри
Датасет представляет собой отобранный корпус исходного кода объемом примерно 240 миллиардов токенов (от 100 млн до 1 млрд записей в метаданных) на 11 языках программирования из коллекции The Stack v3. Данные прошли очистку и гранулированный отбор с помощью классификатора UltraData-Code-L2-Classifier. В метаданных указаны английский и китайский языки, а также текстовая и табличная модальности.
Что можно сделать
- Предобучение (pre-training) или продолжение обучения LLM для генерации кода
- Обучение специализированных моделей-помощников программиста
- Исследование методов фильтрации и оценки качества кодовых корпусов
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 7,5 тыс.
- Лайков
- 37
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraData-Stack-v3-L2")