36 бенчмарков RAG в наборе FlashRAG

Что внутри

Датасет — часть toolkit FlashRAG для воспроизведения и разработки RAG-исследований. В него входят 36 предобработанных бенчмарк-датасетов для RAG и 16 современных RAG-алгоритмов. Данные текстовые, на английском, размер — от 1 до 10 млн; задачи включают question-answering и summarization.

Что можно сделать

• Воспроизвести SOTA RAG-пайплайны
• Обучить или проверить ретривер/генератор для RAG
• Сравнить RAG-алгоритмы на 36 бенчмарках

Как загрузить

from datasets import load_dataset

ds = load_dataset("RUC-NLPIR/FlashRAG_datasets")