Датасет · openai
Бенчмарк длинного контекста с несколькими иголками
openai/mrcr
Датасет для проверки LLM, умеет ли модель находить и различать несколько «иголок» в длинном контексте.
Что внутри
OpenAI MRCR — бенчмарк для длинного контекста с несколькими «иголками в стоге сена». Модель должна различать несколько скрытых в контексте фрагментов; задача расширяет сложность подхода MRCR от Gemini. Данные открыты для воспроизведения результатов; размер — от 1 до 10 тыс. примеров, модальности — таблицы и текст.
Что можно сделать
- Оценка LLM на длинном контексте
- Проверка multi-needle retrieval
- Сравнение моделей по бенчмарку MRCR
- Размер
- 1K–10K записей
- Скачиваний за месяц
- 27,7 тыс.
- Лайков
- 235
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("openai/mrcr")