К содержимому

Датасет · tokyotech-llm

Математический текстовый корпус на 32 млрд токенов

tokyotech-llm/swallow-math-v2

Англоязычный математический датасет для обучения и дообучения языковых моделей решению задач.

Что внутри

Представляет собой обновленную и расширенную версию SwallowMath-v1, содержащую 32 миллиарда токенов на английском языке (от 10 до 100 миллионов записей). Корпус собран с акцентом на больший объём данных и более свободное лицензирование по сравнению с первой версией.

Что можно сделать

  • Предобучение (pre-training) или продолженное обучение LLM для усиления математических навыков
  • Создание специализированных моделей для логического вывода и решения задач
Задачи
Генерация текста
Языки
Английский
Размер
10M–100M записей
Скачиваний за месяц
9,6 тыс.
Лайков
37

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tokyotech-llm/swallow-math-v2")