Датасет · AYueksel
Бенчмарк школьной программы на турецком языке
AYueksel/TurkishMMLU
Набор тестов с выбором ответа по девяти школьным предметам Турции для оценки знаний и логики языковых моделей.
Что внутри
Датасет включает от 1 до 10 тысяч текстовых вопросов с вариантами ответов на турецком языке, составленных по программе турецкой старшей школы по девяти дисциплинам. Работа представлена на воркшопе ACL 24 SIGTURK и оценивает математические способности, логику и понимание текста. В открытой части репозитория выложены код и анализ данных, а сами материалы предоставляются авторами по запросу на почту.
Что можно сделать
- Оценка качества понимания турецкого языка и рассуждений у LLM
- Сравнение моделей на специализированном образовательном бенчмарке
- Анализ слабых мест мультиязычных моделей в школьных дисциплинах
- Задачи
- Вопрос-ответ
- Языки
- Турецкий
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 1,8 тыс.
- Лайков
- 19
Как загрузить
from datasets import load_dataset
ds = load_dataset("AYueksel/TurkishMMLU")