Датасет · KbsdJames

Сложный математический бенчмарк для LLM

KbsdJames/Omni-MATH

Бенчмарк из сложных математических задач для проверки reasoning-способностей языковых моделей.

Что внутри

Omni-MATH — комплексный и сложный бенчмарк для математических рассуждений LLM. Авторы отмечают, что GSM8K и MATH уже решаются с высокой точностью (например, OpenAI o1 — 94,8% на MATH), поэтому нужен более трудный набор. Язык — английский, объём — от 1 тыс. до 10 тыс. записей, формат — текст.

Что можно сделать

Оценка математического reasoning у LLM
Проверка моделей уровня o1 на сложных задачах
Сравнение SFT-моделей по математике

Языки: Английский
Размер: 1K–10K записей
Скачиваний за месяц: 8,2 тыс.
Лайков: 133

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("KbsdJames/Omni-MATH")

Открыть на Hugging Face