К содержимому

Датасет · di-zhang-fdu

Математический бенчмарк олимпиады AIME (1983–2024)

di-zhang-fdu/AIME_1983_2024

Сборник олимпиадных задач по математике AIME за 1983–2024 годы для честной проверки способностей LLM к рассуждениям.

Что внутри

Датасет содержит менее 1000 записей в табличном и текстовом формате, собранных с сайта Art of Problem Solving. Внутри представлены задачи математической олимпиады AIME с 1983 по 2023 год, а также вторая часть 2024 года. Авторы особо отмечают, что это строго тестовый бенчмарк, который нельзя использовать для обучения моделей.

Что можно сделать

  • Оценка математических способностей и логики (reasoning) языковых моделей
  • Сравнение промптов и агентов на сложных олимпиадных задачах
Размер
до 1K записей
Скачиваний за месяц
24,2 тыс.
Лайков
41

Как загрузить

from datasets import load_dataset

ds = load_dataset("di-zhang-fdu/AIME_1983_2024")