Датасет · IFM
Математический корпус для предобучения LLM
IFM/MegaMath
Открытый математический датасет на английском объёмом более 300 млрд токенов для предобучения языковых моделей.
Что внутри
MegaMath — открытый корпус для математического предобучения, часть TxT360 от LLM360. Он собран из разных источников, ориентированных на математику, и содержит более 300 млрд токенов. Один из этапов — повторное извлечение математических документов из Common Crawl с HTML-оптимизацией, фильтрацией fasttext и дедупликацией. Язык — английский.
Что можно сделать
- Предобучение математической LLM
- Продолжение предобучения на математике
- Оценка влияния math-корпуса на reasoning
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 100M–1B записей
- Скачиваний за месяц
- 58,4 тыс.
- Лайков
- 145
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("IFM/MegaMath")