Датасет · ArtificialAnalysis
Бенчмарк на знание фактов и галлюцинации LLM
ArtificialAnalysis/AA-Omniscience-Public
600 вопросов из разных областей знаний для оценки точности фактов и склонности языковых моделей к галлюцинациям.
Что внутри
Внутри собраны 600 текстовых вопросов из широкого спектра предметных областей. Датасет создавался как бенчмарк для проверки способности больших языковых моделей (LLM) точно воспроизводить факты и корректно реагировать при нехватке знаний. Разметка касается задач вопросно-ответных систем и работы с документами.
Что можно сделать
- Оценка склонности LLM к галлюцинациям на кросс-доменных фактах
- Сравнение точности параметрических знаний разных моделей
- Задачи
- Вопрос-ответ
- Размер
- до 1K записей
- Скачиваний за месяц
- 18,2 тыс.
- Лайков
- 57
Как загрузить
from datasets import load_dataset
ds = load_dataset("ArtificialAnalysis/AA-Omniscience-Public")