К содержимому

Датасет · project-numina

90 задач AIME для валидации математических моделей

project-numina/aimo-validation-aime

Все 90 задач AIME 2022–2024 из AOPS wiki как внутренний валидационный набор для математических моделей.

Что внутри

В датасете 90 задач AIME 2022, 2023 и 2024 годов, извлечённых со страницы AOPS wiki. Это внутренний валидационный набор, использованный в AIMO progress prize; данные после 2021 года выбраны, чтобы избежать пересечения с обучающим набором MATH. В карточке упоминаются колонки, включая problem.

Что можно сделать

  • Проверить математическое рассуждение LLM на задачах AIME
  • Сравнить модели на небольшом фиксированном бенчмарке
  • Оценить устойчивость reasoning-модели к сложным задачам
Размер
до 1K записей
Скачиваний за месяц
44 тыс.
Лайков
69

Как загрузить

from datasets import load_dataset

ds = load_dataset("project-numina/aimo-validation-aime")