К содержимому

Датасет · math-ai

Математический бенчмарк AIME 2025

math-ai/aime25

Текстовые олимпиадные задачи американского экзамена AIME 2025 года для оценки математического рассуждения моделей.

Что внутри

Небольшой текстовый датасет объёмом менее тысячи записей (30 задач экзамена), содержащий задания олимпиады American Invitational Mathematics Examination (AIME) за 2025 год. Набор опубликован командой Math-AI для стандартизированного тестирования моделей. Формат файлов и наличие пошаговых решений в приведённом фрагменте карточки не уточняются.

Что можно сделать

  • Оценка способности рассуждающих LLM (reasoning-моделей) решать сложную математику
  • Сравнение качества генерации цепочек рассуждений (Chain-of-Thought) до и после RLHF
  • Проверка моделей на отсутствие утечек данных при тестировании на свежих задачах
Размер
до 1K записей
Скачиваний за месяц
70,7 тыс.
Лайков
49

Как загрузить

from datasets import load_dataset

ds = load_dataset("math-ai/aime25")