К содержимому

Датасет · ArtificialAnalysis

Бенчмарк на знание фактов и галлюцинации LLM

ArtificialAnalysis/AA-Omniscience-Public

600 вопросов из разных областей знаний для оценки точности фактов и склонности языковых моделей к галлюцинациям.

Что внутри

Внутри собраны 600 текстовых вопросов из широкого спектра предметных областей. Датасет создавался как бенчмарк для проверки способности больших языковых моделей (LLM) точно воспроизводить факты и корректно реагировать при нехватке знаний. Разметка касается задач вопросно-ответных систем и работы с документами.

Что можно сделать

  • Оценка склонности LLM к галлюцинациям на кросс-доменных фактах
  • Сравнение точности параметрических знаний разных моделей
Задачи
Вопрос-ответ
Размер
до 1K записей
Скачиваний за месяц
18,2 тыс.
Лайков
57

Как загрузить

from datasets import load_dataset

ds = load_dataset("ArtificialAnalysis/AA-Omniscience-Public")