К содержимому

Датасет · allenai

Тестовый бенчмарк проверяемого следования инструкциям

allenai/IFBench_test

Небольшой набор текстовых промптов от Allen Institute for AI для оценки точности выполнения инструкций.

Что внутри

Тестовая выборка объемом менее 1000 текстовых примеров, подготовленная исследователями Ai2 к статье о проверяемом следовании инструкциям (Generalizing Verifiable Instruction Following). Датасет распространяется по лицензии ODC-BY-1.0 и включает ответы сторонних моделей.

Что можно сделать

  • Оценка способности LLM строго соблюдать заданные ограничения и форматы в промптах
  • Сравнение моделей между собой на стандартизированном бенчмарке от Ai2
Размер
до 1K записей
Скачиваний за месяц
28,9 тыс.
Лайков
21

Модели, обученные на нём

Как загрузить

from datasets import load_dataset

ds = load_dataset("allenai/IFBench_test")