Датасет · meituan-longcat
Бенчмарк олимпиадной математики для LLM
meituan-longcat/AMO-Bench
Сборник сложных школьных олимпиадных задач по математике на английском для проверки рассуждений языковых моделей.
Что внутри
Внутри находятся текстовые олимпиадные задачи по математике для старших классов на английском языке — всего менее 1 тысячи примеров. Задачи составлены экспертами заново, чтобы исключить утечки из открытых источников, и снабжены подробными ходами решения и финальными ответами.
Что можно сделать
- Оценка математических рассуждений рассуждающих LLM (reasoning models)
- Сравнение эффективности расхода токенов при решении сложных задач
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 3,2 тыс.
- Лайков
- 37
Как загрузить
from datasets import load_dataset
ds = load_dataset("meituan-longcat/AMO-Bench")