Датасет · math-ai
Математический и STEM-корпус AutoMathText-2.5 на 2 трлн токенов
math-ai/AutoMathText-2.5
Очищенный двуязычный корпус (EN/ZH) объёмом более 2 триллионов токенов по математике, коду и рассуждениям для обучения LLM.
Что внутри
Датасет содержит свыше 2 триллионов токенов (от 10B до 100B документов) на английском и китайском языках, охватывающих веб-контент, математику, код и цепочки рассуждений. Данные собраны из более чем 50 источников, прошли трёхуровневую дедупликацию и отбор по качеству с помощью ИИ.
Что можно сделать
- Предобучение и дообучение (continued pretraining) языковых моделей с упором на математику, код и логику
- Создание двуязычных (EN/ZH) STEM-моделей
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский, Китайский
- Размер
- 1B–10B записей
- Скачиваний за месяц
- 39,4 тыс.
- Лайков
- 3
Как загрузить
from datasets import load_dataset
ds = load_dataset("math-ai/AutoMathText-2.5")