Датасет · tokyotech-llm
Крупный англоязычный корпус для математической генерации
tokyotech-llm/swallow-math
Миллионный набор математических текстов от Tokyo Tech для обучения моделей генерации.
Что внутри
Внутри лежат текстовые данные на английском языке для задачи text-generation, объём составляет от 1 до 10 миллионов записей. Датасет создан исследователями из Tokyo Tech (rioyokotalab) с использованием специальных пайплайнов переписывания текстов. В карточке также указано, что у набора уже вышла обновлённая версия SwallowMath-v2.
Что можно сделать
- Дообучение языковых моделей для решения математических задач и рассуждений
- Предобучение или SFT-настройка специализированных математических LLM
- Задачи
- Генерация текста
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 1 тыс.
- Лайков
- 50
Модели, обученные на нём
- tokyotech-llm/Llama-3.1-Swallow-8B-v0.5 2,1 тыс.
- mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF 738
- mradermacher/Llama-3.1-Swallow-8B-v0.5-GGUF 179
- tokyotech-llm/Llama-3.1-8B-math-ablation-exp2-LR2.5e-5-WD0.1-iter0002500 82
- tokyotech-llm/Llama-3.1-8B-math-ablation-exp2-LR2.5e-5-WD0.1-iter0007500 51
- tokyotech-llm/Llama-3.1-8B-math-ablation-exp2-LR2.5e-5-WD0.1-iter0010000 47
- tokyotech-llm/Llama-3.1-8B-math-ablation-exp2-LR2.5e-5-WD0.1-iter0005000 46
- tokyotech-llm/Llama-3.1-8B-math-ablation-exp2-LR2.5e-5-WD0.1-iter0012500 39
Как загрузить
from datasets import load_dataset
ds = load_dataset("tokyotech-llm/swallow-math")