Датасет · google
Бенчмарк FRAMES для RAG-систем
google/frames-benchmark
824 сложных multi-hop вопроса по 2–15 статьям Википедии для проверки фактологии, поиска и рассуждений RAG.
Что внутри
FRAMES — оценочный набор из 824 вопросов, для которых нужна информация из 2–15 статей Википедии. Он проверяет RAG-системы по фактологии, точности поиска и рассуждению; вопросы охватывают разные темы. Язык — английский, объём — менее 1 000 примеров; подробности есть в статье arXiv.
Что можно сделать
- Оценка RAG-пайплайна
- Проверка LLM на multi-hop QA
- Сравнение retrieval-компонентов
- Задачи
- Классификация текста, Разметка токенов, Вопросы по таблицам, Вопрос-ответ
- Языки
- Английский
- Размер
- до 1K записей
- Скачиваний за месяц
- 32 тыс.
- Лайков
- 276
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("google/frames-benchmark")