К содержимому

Датасет · OpenStellarTeam

Китайский бенчмарк фактологической точности LLM

OpenStellarTeam/Chinese-SimpleQA

Первый комплексный бенчмарк на китайском языке для оценки фактологических знаний моделей на коротких вопросах по 99 подтемам.

Что внутри

Внутри собраны короткие вопросы и ответы на китайском языке для проверки фактологической точности языковых моделей (question-answering). Объем датасета составляет от 1 до 10 тысяч примеров. Вопросы охватывают 6 крупных тем и 99 подтем и отобраны так, чтобы ответы оставались статичными и легко проверялись.

Что можно сделать

  • Оценка фактологической точности и уровня галлюцинаций LLM на китайском языке
  • Сравнение моделей в задаче ответа на короткие энциклопедические вопросы
Задачи
Вопрос-ответ
Языки
Китайский
Размер
1K–10K записей
Скачиваний за месяц
3,9 тыс.
Лайков
38

Как загрузить

from datasets import load_dataset

ds = load_dataset("OpenStellarTeam/Chinese-SimpleQA")