К содержимому

Датасет · meituan-longcat

Бенчмарк олимпиадной математики для LLM

meituan-longcat/AMO-Bench

Сборник сложных школьных олимпиадных задач по математике на английском для проверки рассуждений языковых моделей.

Что внутри

Внутри находятся текстовые олимпиадные задачи по математике для старших классов на английском языке — всего менее 1 тысячи примеров. Задачи составлены экспертами заново, чтобы исключить утечки из открытых источников, и снабжены подробными ходами решения и финальными ответами.

Что можно сделать

  • Оценка математических рассуждений рассуждающих LLM (reasoning models)
  • Сравнение эффективности расхода токенов при решении сложных задач
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
3,2 тыс.
Лайков
37

Как загрузить

from datasets import load_dataset

ds = load_dataset("meituan-longcat/AMO-Bench")