К содержимому

Датасет · HuggingFaceH4

30 задач AIME 2024 для оценки LLM

HuggingFaceH4/aime_2024

30 олимпиадных задач по математике из AIME 2024 для проверки reasoning-моделей.

Что внутри

Набор содержит 30 задач из тестов AIME I и AIME II 2024 года. Исходник — AI-MO/aimo-validation-aime, где собрано 90 задач AIME 2022–2024. Данные только текстовые; объём — менее 1 тыс. примеров.

Что можно сделать

  • Оценка математического reasoning LLM
  • Проверка chain-of-thought и solver-пайплайнов
  • Сравнение моделей на олимпиадных задачах
Размер
до 1K записей
Скачиваний за месяц
40,7 тыс.
Лайков
71

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("HuggingFaceH4/aime_2024")