Датасет · lmlmcat
Китайский бенчмарк знаний CMMLU
lmlmcat/cmmlu
10K–100K вопросов с множественным выбором для оценки LLM на китайском языке и в культурном контексте.
Что внутри
CMMLU — комплексный китайский оценочный набор для проверки продвинутых знаний и рассуждений LLM. Вопросы представлены в формате multiple-choice и question-answering, язык — китайский. Размер — от 10K до 100K примеров.
Что можно сделать
- Оценить LLM на китайских знаниях и рассуждениях.
- Сравнить модели в multiple-choice-бенчмарке.
- Проверить понимание китайского культурного контекста.
- Задачи
- multiple choice, Вопрос-ответ
- Языки
- Китайский
- Размер
- 10K–100K записей
- Скачиваний за месяц
- 16,9 тыс.
- Лайков
- 82
Как загрузить
from datasets import load_dataset
ds = load_dataset("lmlmcat/cmmlu")