Датасет · openbmb
Математический претрейн-корпус на 290 млрд токенов
openbmb/UltraData-Math
290 млрд токенов математических данных на английском и китайском в трёх уровнях для претрейна LLM.
Что внутри
Крупный математический датасет для предобучения LLM общим объёмом 290B+ токенов. Он разделён на три уровня: L1 — веб-корпус на 170,5 млрд токенов, L2 — отобранные качественные данные на 33,7 млрд, L3 — очищенные multi-format данные на 88 млрд. Языки — английский и китайский; данные использовались в математическом претрейне моделей серии MiniCPM.
Что можно сделать
- продолжить претрейн LLM по математике
- обучить math-reasoning модель на L2/L3
- дообучить модель серии MiniCPM
- Задачи
- Генерация текста
- Языки
- Английский, Китайский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 26,9 тыс.
- Лайков
- 365
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openbmb/UltraData-Math")