Датасет · MBZUAI
Первый многозадачный бенчмарк для арабского языка
MBZUAI/ArabicMMLU
От 10 до 100 тыс. тестовых вопросов из школьных экзаменов на арабском языке для оценки языковых моделей.
Что внутри
Первый многозадачный бенчмарк понимания арабского языка (ArabicMMLU), подготовленный консорциумом университетов во главе с MBZUAI. Набор включает от 10 до 100 тысяч вопросов на арабском языке в текстовом и табличном форматах, собранных на основе школьных экзаменов по разным дисциплинам.
Что можно сделать
- Комплексная проверка знаний и логики языковых моделей на арабском языке
- Сравнение мультиязычных LLM на сложных академических задачах
- Задачи
- Вопрос-ответ
- Языки
- Арабский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 3,7 тыс.
- Лайков
- 39
Как загрузить
from datasets import load_dataset
ds = load_dataset("MBZUAI/ArabicMMLU")