Датасет · di-zhang-fdu
Математический бенчмарк олимпиады AIME (1983–2024)
di-zhang-fdu/AIME_1983_2024
Сборник олимпиадных задач по математике AIME за 1983–2024 годы для честной проверки способностей LLM к рассуждениям.
Что внутри
Датасет содержит менее 1000 записей в табличном и текстовом формате, собранных с сайта Art of Problem Solving. Внутри представлены задачи математической олимпиады AIME с 1983 по 2023 год, а также вторая часть 2024 года. Авторы особо отмечают, что это строго тестовый бенчмарк, который нельзя использовать для обучения моделей.
Что можно сделать
- Оценка математических способностей и логики (reasoning) языковых моделей
- Сравнение промптов и агентов на сложных олимпиадных задачах
- Размер
- до 1K записей
- Скачиваний за месяц
- 24,2 тыс.
- Лайков
- 41
Как загрузить
from datasets import load_dataset
ds = load_dataset("di-zhang-fdu/AIME_1983_2024")