К содержимому

Датасет · vtllms

Сложный бенчмарк для моделей с веб-поиском

vtllms/sealqa

Набор проверочных вопросов (менее 1000 штук), где обычный поиск в интернете выдает противоречивые или шумные ответы.

Что внутри

Это специализированный текстовый бенчмарк объемом до 1 000 записей, разбитый на поднаборы разной сложности (например, seal_0 и seal_hard). Он содержит фактологические вопросы, специально подобранные так, чтобы стандартный поиск в сети приводил к запутанным или бесполезным результатам.

Что можно сделать

  • Тестирование RAG-систем и языковых моделей с доступом к веб-поиску на устойчивость к информационному шуму
  • Сравнение способности разных моделей находить истину в противоречивых источниках
Задачи
Вопрос-ответ
Размер
до 1K записей
Скачиваний за месяц
10,2 тыс.
Лайков
34

Как загрузить

from datasets import load_dataset

ds = load_dataset("vtllms/sealqa")