Датасет · HuggingFaceH4
30 задач AIME 2024 для оценки LLM
HuggingFaceH4/aime_2024
30 олимпиадных задач по математике из AIME 2024 для проверки reasoning-моделей.
Что внутри
Набор содержит 30 задач из тестов AIME I и AIME II 2024 года. Исходник — AI-MO/aimo-validation-aime, где собрано 90 задач AIME 2022–2024. Данные только текстовые; объём — менее 1 тыс. примеров.
Что можно сделать
- Оценка математического reasoning LLM
- Проверка chain-of-thought и solver-пайплайнов
- Сравнение моделей на олимпиадных задачах
- Размер
- до 1K записей
- Скачиваний за месяц
- 40,7 тыс.
- Лайков
- 71
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("HuggingFaceH4/aime_2024")