К содержимому

Датасет · google

Бенчмарк от Google для проверки фактологической точности LLM

google/FACTS-grounding-public

860 публичных примеров на английском для оценки привязки ответов моделей к фактам.

Что внутри

Публичная часть бенчмарка FACTS Grounding 1.0 от Google DeepMind и Google Research. Внутри лежат 860 текстовых примеров для задач question-answering на английском языке. Набор предназначен для проверки того, насколько строго языковые модели опираются на предоставленные факты и избегают галлюцинаций.

Что можно сделать

  • Тестирование RAG-систем на отсутствие галлюцинаций и опору на контекст
  • Оценка фактологической точности больших языковых моделей
  • Сравнение моделей с результатами публичного лидерборда на Kaggle
Задачи
Вопрос-ответ
Языки
Английский
Размер
до 1K записей
Скачиваний за месяц
1,9 тыс.
Лайков
49

Как загрузить

from datasets import load_dataset

ds = load_dataset("google/FACTS-grounding-public")