Датасет · google
Бенчмарк от Google для проверки фактологической точности LLM
google/FACTS-grounding-public
860 публичных примеров на английском для оценки привязки ответов моделей к фактам.
Что внутри
Публичная часть бенчмарка FACTS Grounding 1.0 от Google DeepMind и Google Research. Внутри лежат 860 текстовых примеров для задач question-answering на английском языке. Набор предназначен для проверки того, насколько строго языковые модели опираются на предоставленные факты и избегают галлюцинаций.
Что можно сделать
- Тестирование RAG-систем на отсутствие галлюцинаций и опору на контекст
- Оценка фактологической точности больших языковых моделей
- Сравнение моделей с результатами публичного лидерборда на Kaggle
- Задачи
- Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 1,9 тыс.
- Лайков
- 49
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/FACTS-grounding-public")