К содержимому

Датасет · mteb

Бенчмарк проверки научных утверждений по аннотациям статей

mteb/scifact

Англоязычный датасет из набора MTEB для оценки поиска доказательств в научных публикациях и медицинских текстах.

Что внутри

Часть известного бенчмарка эмбеддингов MTEB, изначально созданная в AllenAI. Содержит от 1 до 10 тысяч записей на английском языке для задачи информационного поиска (text-retrieval): модель должна находить в базе аннотаций научных статей подтверждения или опровержения заданных научных утверждений. Охватывает академическую и медицинскую тематики.

Что можно сделать

  • Оценка качества текстовых эмбеддингов и ретриверов для научного и медицинского RAG
  • Сравнение моделей поиска на стандартизированном бенчмарке MTEB
Задачи
Поиск по текстам
Языки
eng
Размер
1K–10K записей
Скачиваний за месяц
39,5 тыс.
Лайков
5

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("mteb/scifact")