Датасет · CohereLabs
Облегчённый мультиязычный бенчмарк Global-MMLU-Lite
CohereLabs/Global-MMLU-Lite
Компактная версия бенчмарка Global-MMLU от Cohere Labs на 23 языках для быстрой оценки знаний LLM.
Что внутри
Текстовый набор данных размером от 10 до 100 тысяч записей, представляющий собой облегчённую версию глобального бенчмарка MMLU. В актуальной версии 3.0 (май 2026) он охватывает 23 языка, включая английский, арабский, испанский, чешский, венгерский, словацкий и таджикский. Датасет предназначен для быстрой и менее ресурсоёмкой оценки эрудиции языковых моделей в разных языковых средах.
Что можно сделать
- Быстрая мультиязычная валидация чекпоинтов LLM в процессе обучения
- Сравнение знаний моделей на малоресурсных языках без прогона полного Global-MMLU
- Языки
- Арабский, bn, cs, cy, Английский, Испанский, Французский, Хинди и ещё 4
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 24,6 тыс.
- Лайков
- 45
Как загрузить
from datasets import load_dataset
ds = load_dataset("CohereLabs/Global-MMLU-Lite")