Датасет · HuggingFaceTB
Математический образовательный корпус из CommonCrawl
HuggingFaceTB/finemath
34–54 млрд токенов математических учебных текстов, отфильтрованных из CommonCrawl для обучения моделей.
Что внутри
Содержит математический образовательный контент, отобранный из CommonCrawl. Для фильтрации обучили классификатор на аннотациях LLama-3.1-70B-Instruct, оставляя ясные объяснения и пошаговые решения задач. Объём — 34B токенов в FineMath-3+ и 54B токенов вместе с InfiMM-WebMath-3+. Язык в карточке не указан; метаданные относят данные к tabular и text.
Что можно сделать
- Continued pretraining математической LLM
- SFT на пошаговых математических объяснениях
- Обучение классификатора математического контента
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 54,6 тыс.
- Лайков
- 398
Модели, обученные на нём
- dmis-lab/UltraBERT-380MЗаполнение пропусков 15,2 тыс.
- dmis-lab/UltraBERT-150MЗаполнение пропусков 14,6 тыс.
- openeurollm/datamix-2b-80-20 5,7 тыс.
- Asilarkness/DiffuRefill-1BГенерация текста 3,5 тыс.
- mradermacher/kisoku-1.6b-i1-GGUFГенерация текста 2,9 тыс.
- MatterWaveAI/grt-30mГенерация текста 2,4 тыс.
- mradermacher/Marco-Mini-Global-Base-i1-GGUF 2,2 тыс.
- marin-community/marin-8b-baseГенерация текста 2,2 тыс.
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceTB/finemath")