MultiHop-RAG: QA-бенчмарк для RAG по документам

Что внутри

Англоязычный QA-датасет для оценки RAG-пайплайнов. В нём 2556 запросов, доказательства для каждого распределены по 2–4 документам, а запросы также используют метаданные документов. Размер по метаданным — от 1 до 10 тыс.

Что можно сделать

• Оценка retriever и reranker для RAG
• Проверка multi-hop QA по нескольким документам
• Бенчмарк RAG-системы с метаданными документов

Как загрузить

from datasets import load_dataset

ds = load_dataset("yixuantt/MultiHopRAG")