Датасет · xlangai
BRIGHT: бенчмарк поиска с рассуждением
xlangai/BRIGHT
Текстовый retrieval-бенчмарк на запросах из StackExchange, LeetCode и математических соревнований.
Что внутри
BRIGHT — первый, по словам авторов, текстовый retrieval-бенчмарк, где для поиска нужны интенсивные рассуждения. Запросы собраны из разных доменов: StackExchange, LeetCode и математических соревнований, на основе реальных человеческих данных. Язык — английский, размер — от 1 до 10 млн записей. Существующие retrieval-модели показывают на нём низкий результат: лучший nDCG@10 — 22,1.
Что можно сделать
- Обучить или дообучить retrieval-модель для поиска с рассуждением
- Проверить RAG-систему на сложных запросах
- Сравнить модели по nDCG@10 на бенчмарке
- Задачи
- Поиск по текстам
- Языки
- Английский
- Размер
- 1M–10M записей
- Скачиваний за месяц
- 26,9 тыс.
- Лайков
- 81
Модели, обученные на нём
- nvidia/llama-nv-embed-reasoning-3bЭмбеддинги 3 тыс.
- mradermacher/Diver-GroupRank-7B-i1-GGUFtext ranking 705
- mradermacher/Diver-GroupRank-7B-GGUFtext ranking 449
- mradermacher/llama-nv-embed-reasoning-3b-GGUF 195
- AQ-MedAI/Diver-GroupRank-7Btext ranking 61
- AQ-MedAI/Diver-GroupRank-32Btext ranking 44
- ForwardAILabs/MRE-T1Эмбеддинги 0
- ForwardAILabs/MQR-A1Генерация текста 0
Как загрузить
from datasets import load_dataset
ds = load_dataset("xlangai/BRIGHT")