К содержимому

Датасет · miracl

Многоязычный корпус текстов для поиска

miracl/miracl-corpus

Текстовый корпус на 16 языках из Википедии для обучения и оценки систем информационного поиска.

Что внутри

Датасет представляет собой коллекцию текстовых документов для задачи информационного поиска (text-retrieval) на 16 языках, включая английский, испанский, арабский, персидский, бенгальский и финский. Материалы подготовлены на основе статей Википедии и являются частью многоязычного бенчмарка MIRACL. Общий размер корпуса составляет от 10 до 100 миллионов записей.

Что можно сделать

  • Обучение мультиязычных эмбеддинг-моделей и ретриверов для RAG
  • Бенчмаркинг качества поиска на разных языках
  • Оценка кросс-язычного информационного поиска
Задачи
Поиск по текстам
Языки
Арабский, bn, Английский, Испанский, Персидский, fi, Французский, Хинди и ещё 4
Размер
10M–100M записей
Скачиваний за месяц
50,7 тыс.
Лайков
58

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("miracl/miracl-corpus")