К содержимому

Датасет · CohereLabs

Облегчённый мультиязычный бенчмарк Global-MMLU-Lite

CohereLabs/Global-MMLU-Lite

Компактная версия бенчмарка Global-MMLU от Cohere Labs на 23 языках для быстрой оценки знаний LLM.

Что внутри

Текстовый набор данных размером от 10 до 100 тысяч записей, представляющий собой облегчённую версию глобального бенчмарка MMLU. В актуальной версии 3.0 (май 2026) он охватывает 23 языка, включая английский, арабский, испанский, чешский, венгерский, словацкий и таджикский. Датасет предназначен для быстрой и менее ресурсоёмкой оценки эрудиции языковых моделей в разных языковых средах.

Что можно сделать

  • Быстрая мультиязычная валидация чекпоинтов LLM в процессе обучения
  • Сравнение знаний моделей на малоресурсных языках без прогона полного Global-MMLU
Языки
Арабский, bn, cs, cy, Английский, Испанский, Французский, Хинди и ещё 4
Размер
10K–100K записей
Скачиваний за месяц
24,6 тыс.
Лайков
45

Как загрузить

from datasets import load_dataset

ds = load_dataset("CohereLabs/Global-MMLU-Lite")