Датасет · SevenAIGmbH
MATH в формате lighteval для оценки LLM
SevenAIGmbH/MATH-lighteval
Задачи математических олимпиад с пошаговыми решениями для бенчмаркинга в lighteval.
Что внутри
Датасет математических задач из соревнований AMC 10, AMC 12, AIME и других. У каждой задачи есть полное пошаговое решение, что позволяет учить модели выводить ответ и объяснение. Это версия MATH в формате lighteval с готовыми builder-конфигами; язык — английский, объём — от 10 до 100 тыс. примеров.
Что можно сделать
- Оценка математического reasoning в lighteval
- SFT на пошаговых решениях
- Сравнение эвристик и моделей на MATH
- Языки
- Английский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 33,7 тыс.
- Лайков
- 67
Как загрузить
from datasets import load_dataset
ds = load_dataset("SevenAIGmbH/MATH-lighteval")