К содержимому

Датасет · tokyotech-llm

Крупный англоязычный корпус для математической генерации

tokyotech-llm/swallow-math

Миллионный набор математических текстов от Tokyo Tech для обучения моделей генерации.

Что внутри

Внутри лежат текстовые данные на английском языке для задачи text-generation, объём составляет от 1 до 10 миллионов записей. Датасет создан исследователями из Tokyo Tech (rioyokotalab) с использованием специальных пайплайнов переписывания текстов. В карточке также указано, что у набора уже вышла обновлённая версия SwallowMath-v2.

Что можно сделать

  • Дообучение языковых моделей для решения математических задач и рассуждений
  • Предобучение или SFT-настройка специализированных математических LLM
Задачи
Генерация текста
Языки
Английский
Размер
1M–10M записей
Скачиваний за месяц
1 тыс.
Лайков
50

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("tokyotech-llm/swallow-math")