Датасет · vtllms
Сложный бенчмарк для моделей с веб-поиском
vtllms/sealqa
Набор проверочных вопросов (менее 1000 штук), где обычный поиск в интернете выдает противоречивые или шумные ответы.
Что внутри
Это специализированный текстовый бенчмарк объемом до 1 000 записей, разбитый на поднаборы разной сложности (например, seal_0 и seal_hard). Он содержит фактологические вопросы, специально подобранные так, чтобы стандартный поиск в сети приводил к запутанным или бесполезным результатам.
Что можно сделать
- Тестирование RAG-систем и языковых моделей с доступом к веб-поиску на устойчивость к информационному шуму
- Сравнение способности разных моделей находить истину в противоречивых источниках
- Задачи
- Вопрос-ответ
- Размер
- до 1K записей
- Скачиваний за месяц
- 10,2 тыс.
- Лайков
- 34
Как загрузить
from datasets import load_dataset
ds = load_dataset("vtllms/sealqa")