Китайский экзаменационный бенчмарк C-Eval

Что внутри

C-Eval — комплексный китайский набор для оценки foundation-моделей. В нём 13 948 вопросов с несколькими вариантами ответа по 52 дисциплинам и четырём уровням сложности. Для каждого предмета есть split'�� dev, val и test; dev содержит пять примеров с объяснениями для few-shot.

Что можно сделать

• Оценить китайскоязычную LLM в few-shot режиме
• Сравнить модели по дисциплинам и сложности
• Проверить knowledge-бенчмарк перед релизом

Модели, обученные на нём

• LorisYounger/BPO_CaseStudy 0

Как загрузить

from datasets import load_dataset

ds = load_dataset("ceval/ceval-exam")