К содержимому

Датасет · AYueksel

Бенчмарк школьной программы на турецком языке

AYueksel/TurkishMMLU

Набор тестов с выбором ответа по девяти школьным предметам Турции для оценки знаний и логики языковых моделей.

Что внутри

Датасет включает от 1 до 10 тысяч текстовых вопросов с вариантами ответов на турецком языке, составленных по программе турецкой старшей школы по девяти дисциплинам. Работа представлена на воркшопе ACL 24 SIGTURK и оценивает математические способности, логику и понимание текста. В открытой части репозитория выложены код и анализ данных, а сами материалы предоставляются авторами по запросу на почту.

Что можно сделать

  • Оценка качества понимания турецкого языка и рассуждений у LLM
  • Сравнение моделей на специализированном образовательном бенчмарке
  • Анализ слабых мест мультиязычных моделей в школьных дисциплинах
Задачи
Вопрос-ответ
Языки
Турецкий
Размер
1K–10K записей
Скачиваний за месяц
1,8 тыс.
Лайков
19

Как загрузить

from datasets import load_dataset

ds = load_dataset("AYueksel/TurkishMMLU")