Датасет · mteb
Бенчмарк проверки научных утверждений по аннотациям статей
mteb/scifact
Англоязычный датасет из набора MTEB для оценки поиска доказательств в научных публикациях и медицинских текстах.
Что внутри
Часть известного бенчмарка эмбеддингов MTEB, изначально созданная в AllenAI. Содержит от 1 до 10 тысяч записей на английском языке для задачи информационного поиска (text-retrieval): модель должна находить в базе аннотаций научных статей подтверждения или опровержения заданных научных утверждений. Охватывает академическую и медицинскую тематики.
Что можно сделать
- Оценка качества текстовых эмбеддингов и ретриверов для научного и медицинского RAG
- Сравнение моделей поиска на стандартизированном бенчмарке MTEB
- Задачи
- Поиск по текстам
- Языки
- eng
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 39,5 тыс.
- Лайков
- 5
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("mteb/scifact")