Датасет · allenai
Тестовый бенчмарк проверяемого следования инструкциям
allenai/IFBench_test
Небольшой набор текстовых промптов от Allen Institute for AI для оценки точности выполнения инструкций.
Что внутри
Тестовая выборка объемом менее 1000 текстовых примеров, подготовленная исследователями Ai2 к статье о проверяемом следовании инструкциям (Generalizing Verifiable Instruction Following). Датасет распространяется по лицензии ODC-BY-1.0 и включает ответы сторонних моделей.
Что можно сделать
- Оценка способности LLM строго соблюдать заданные ограничения и форматы в промптах
- Сравнение моделей между собой на стандартизированном бенчмарке от Ai2
- Размер
- до 1K записей
- Скачиваний за месяц
- 28,9 тыс.
- Лайков
- 21
Модели, обученные на нём
Как загрузить
from datasets import load_dataset
ds = load_dataset("allenai/IFBench_test")