К содержимому

Датасет · SevenAIGmbH

MATH в формате lighteval для оценки LLM

SevenAIGmbH/MATH-lighteval

Задачи математических олимпиад с пошаговыми решениями для бенчмаркинга в lighteval.

Что внутри

Датасет математических задач из соревнований AMC 10, AMC 12, AIME и других. У каждой задачи есть полное пошаговое решение, что позволяет учить модели выводить ответ и объяснение. Это версия MATH в формате lighteval с готовыми builder-конфигами; язык — английский, объём — от 10 до 100 тыс. примеров.

Что можно сделать

  • Оценка математического reasoning в lighteval
  • SFT на пошаговых решениях
  • Сравнение эвристик и моделей на MATH
Языки
Английский
Размер
10K–100K записей
Скачиваний за месяц
33,7 тыс.
Лайков
67

Как загрузить

from datasets import load_dataset

ds = load_dataset("SevenAIGmbH/MATH-lighteval")