Датасет · project-numina
90 задач AIME для валидации математических моделей
project-numina/aimo-validation-aime
Все 90 задач AIME 2022–2024 из AOPS wiki как внутренний валидационный набор для математических моделей.
Что внутри
В датасете 90 задач AIME 2022, 2023 и 2024 годов, извлечённых со страницы AOPS wiki. Это внутренний валидационный набор, использованный в AIMO progress prize; данные после 2021 года выбраны, чтобы избежать пересечения с обучающим набором MATH. В карточке упоминаются колонки, включая problem.
Что можно сделать
- Проверить математическое рассуждение LLM на задачах AIME
- Сравнить модели на небольшом фиксированном бенчмарке
- Оценить устойчивость reasoning-модели к сложным задачам
- Размер
- до 1K записей
- Скачиваний за месяц
- 44 тыс.
- Лайков
- 69
Как загрузить
from datasets import load_dataset
ds = load_dataset("project-numina/aimo-validation-aime")