Датасет · OpenSQZ
2,46 трлн токенов STEM для предобучения
OpenSQZ/AutoMathText-V2
Огромный очищенный корпус по STEM, математике, коду и reasoning на английском и китайском.
Что внутри
AutoMathText-V2 — корпус из 2,46 трлн токенов высококачественного дедуплицированного текста по веб-контенту, математике, коду, reasoning и STEM. Языки — en и zh, размер 1B<n<10B, форматы tabular и text. Данные собраны для предобучения и дообучения моделей.
Что можно сделать
- Предобучить STEM-ориентированную LLM
- Дообучить модель на математике и коде
- Проверить масштабный корпус для reasoning-задач
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский, Китайский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 57,2 тыс.
- Лайков
- 78
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenSQZ/AutoMathText-V2")