Датасет · juletxara
Мультиязычный бенчмарк школьной математики MGSM
juletxara/mgsm
250 математических задач из GSM8K, переведённых людьми на 10 языков, включая русский, для оценки рассуждений.
Что внутри
Бенчмарк включает 250 текстовых задач по математике уровня начальной школы, взятых из набора GSM8K. Каждая задача переведена профессиональными аннотаторами на 10 языков, среди которых русский, английский, испанский, немецкий, французский, китайский и японский. Набор создан для проверки способности моделей к пошаговым рассуждениям (chain-of-thought) на разных языках.
Что можно сделать
- Оценка математических способностей и качества chain-of-thought рассуждений LLM на русском и других языках
- Сравнение кросс-языкового переноса навыков логического вывода в мультиязычных моделях
- Задачи
- Генерация текста
- Языки
- Английский, Испанский, Французский, Немецкий, Русский, Китайский, Японский, Тайский и ещё 2
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 30 тыс.
- Лайков
- 45
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("juletxara/mgsm")