Датасет · math-ai
AutoMathText: 200 ГБ математических текстов
math-ai/AutoMathText
Корпус математических текстов на английском объёмом около 200 ГБ для обучения и проверки языковых моделей.
Что внутри
Датасет собран из разных источников: сайтов, arXiv и GitHub, включая OpenWebMath, RedPajama и Algebraic Stack. По карточке это около 200 ГБ английских математических текстов; работа с AutoMathText и методом AutoDS принята в ACL 2025 Findings. Точный формат хранения в начале карточки не указан.
Что можно сделать
- Дообучение математической LLM
- SFT для решения задач
- Оценка качества на математических текстах
- Задачи
- Генерация текста, Вопрос-ответ
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 5,3 тыс.
- Лайков
- 199
Как загрузить
from datasets import load_dataset
ds = load_dataset("math-ai/AutoMathText")