Датасет · OpenStellarTeam
Китайский бенчмарк фактологической точности LLM
OpenStellarTeam/Chinese-SimpleQA
Первый комплексный бенчмарк на китайском языке для оценки фактологических знаний моделей на коротких вопросах по 99 подтемам.
Что внутри
Внутри собраны короткие вопросы и ответы на китайском языке для проверки фактологической точности языковых моделей (question-answering). Объем датасета составляет от 1 до 10 тысяч примеров. Вопросы охватывают 6 крупных тем и 99 подтем и отобраны так, чтобы ответы оставались статичными и легко проверялись.
Что можно сделать
- Оценка фактологической точности и уровня галлюцинаций LLM на китайском языке
- Сравнение моделей в задаче ответа на короткие энциклопедические вопросы
- Задачи
- Вопрос-ответ
- Языки
- Китайский
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 3,9 тыс.
- Лайков
- 38
Как загрузить
from datasets import load_dataset
ds = load_dataset("OpenStellarTeam/Chinese-SimpleQA")