Датасет · CohereLabs
Мультиязычный MMLU на 42 языках
CohereLabs/Global-MMLU
MMLU-вопросы на 42 языках с машинным переводом, профессиональной правкой и разметкой культурной чувствительности.
Что внутри
Датасет объединяет вопросы MMLU на 42 языках, включая английский. Часть переводов машинная, часть сделана профессионально и дополнена краудсорсинговой пост-редактурой. Для подмножества из 2850 вопросов на язык есть аннотации культурной чувствительности: Culturally Sensitive или Culturally Agnostic. Формат текстовый.
Что можно сделать
- Оценка мультиязычных LLM на MMLU
- Исследование культурной чувствительности бенчмарков
- Тестирование моделей на 42 языках
- Языки
- Английский, Арабский, bn, Испанский, Французский, Хинди, Русский, Немецкий и ещё 4
- Размер
- 100K–1M записей
- Скачиваний за месяц
- 35,1 тыс.
- Лайков
- 168
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/Global-MMLU")