К содержимому

Датасет · math-ai

Математический и STEM-корпус AutoMathText-2.5 на 2 трлн токенов

math-ai/AutoMathText-2.5

Очищенный двуязычный корпус (EN/ZH) объёмом более 2 триллионов токенов по математике, коду и рассуждениям для обучения LLM.

Что внутри

Датасет содержит свыше 2 триллионов токенов (от 10B до 100B документов) на английском и китайском языках, охватывающих веб-контент, математику, код и цепочки рассуждений. Данные собраны из более чем 50 источников, прошли трёхуровневую дедупликацию и отбор по качеству с помощью ИИ.

Что можно сделать

  • Предобучение и дообучение (continued pretraining) языковых моделей с упором на математику, код и логику
  • Создание двуязычных (EN/ZH) STEM-моделей
Задачи
Генерация текста, Вопрос-ответ
Языки
Английский, Китайский
Размер
1B–10B записей
Скачиваний за месяц
39,4 тыс.
Лайков
3

Как загрузить

from datasets import load_dataset

ds = load_dataset("math-ai/AutoMathText-2.5")