Датасет · miracl
Многоязычный корпус текстов для поиска
miracl/miracl-corpus
Текстовый корпус на 16 языках из Википедии для обучения и оценки систем информационного поиска.
Что внутри
Датасет представляет собой коллекцию текстовых документов для задачи информационного поиска (text-retrieval) на 16 языках, включая английский, испанский, арабский, персидский, бенгальский и финский. Материалы подготовлены на основе статей Википедии и являются частью многоязычного бенчмарка MIRACL. Общий размер корпуса составляет от 10 до 100 миллионов записей.
Что можно сделать
- Обучение мультиязычных эмбеддинг-моделей и ретриверов для RAG
- Бенчмаркинг качества поиска на разных языках
- Оценка кросс-язычного информационного поиска
- Задачи
- Поиск по текстам
- Языки
- Арабский, bn, Английский, Испанский, Персидский, fi, Французский, Хинди и ещё 4
- Размер
- 10M–100M записей
- Скачиваний за месяц
- 50,7 тыс.
- Лайков
- 58
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("miracl/miracl-corpus")