Датасет · Shitao
Многоязычный поиск длинных документов
Shitao/MLDR
Датасет для поиска по длинным документам на 13 языках, вопросы сгенерированы GPT-3.5.
Что внутри
MLDR построен на Wikipedia, Wudao и mC4 и покрывает 13 типологически разных языков; в метаданных перечислены ar, de, en, es, fr, hi. Из длинных статей случайно выбирают абзацы, по ним GPT-3.5 генерирует вопросы. Пары «вопрос — статья» предназначены для text-retrieval.
Что можно сделать
- Обучение retrieval-модели для длинных документов
- Оценка многоязычного поиска и reranker
- Проверка RAG-системы на длинных текстах
- Задачи
- Поиск по текстам
- Языки
- Арабский, Немецкий, Английский, Испанский, Французский, Хинди, Итальянский, Японский и ещё 4
- Скачиваний за месяц
- 2,2 тыс.
- Лайков
- 83
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("Shitao/MLDR")